Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren ::

Daten und Sensoren

Metriken von Daten

Metriken von Aussagen

Sensoren als Datenquellen

Messverfahren und Sensorsysteme

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Daten

Daten

• Daten sind die Grundlage für die Modellbildung und Modelltestung

• Daten können aus einer Vielzahl von Quellen stammen

  • Experiment
  • Simulation
  • Feldstudie
  • Abgeleitet aus anderen Datensätzen:
    MapAndReduce(D): D → D'

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Daten

Daten

• Allgemein kann man Daten und deren Werte unterteilen in:

  • Skalare Werte, wie Temperatur, Alter, usw.
  • Serien von Skalaren Werten, wie Zeitserien
  • Vektorielle Werte wie Bilder
  • Zusammengesetzte Daten, also Datenstrukturen (Records)

• Daten haben daher eine Dimensionalität 𝕏^N, wobei die Wertemenge 𝕏 einer Dimension aus den ganzen ℕ, reelen ℝ, der Zeit 𝕋 oder kategorischen Wertemengen 𝕊 bestehen kann (oder Untermengen davon).

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenreduktion

Datenreduktion

• Ziel der Datenanalyse ist die Reduktion von Eingabedaten bezüglich Größe und Dimensionalität:

$$P(X^N): X^N \rightarrow Y^M\\ |Y|<|X|, M<N$$

• Materialwissenschaften und Messtechnik:
  • Häufig metrische Eingabevariablen
  • Häufig metrische oder kategorische Ausgabevariablen (inkl. Boolescher Variablen)

isRaining <- function (temp,sunrad,moisture) {
  x = TRUE
  x[temp < 0] = FALSE
  x[temp > 40] = FALSE
  x[(sunrad-moisture) > 30] = FALSE
  x
}

Beispiel aus der Messtechnik mit einer Datenreduktionsfunktion ℝ³ → 𝔹

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenreduktion

Datenklassen

Numerische und Metrische Werte

Das sind Werte die abzählbar sind und wo man Relationen (wie kleiner oder größer) sinnvoll definieren kann, also alle reellen und ganzen Zahlen.

• Beispiele: Temperatur, Länge, Dichte, Porengröße, Dehnung, Kraft, Ort, Zeit

Kategorische Werte

Das sind symbolische Werte für die entweder keine (sinnvolle) Ordnungsrelation existiert oder wo sich wenigstens keine Differenzen bilden lassen.

• Beispiele: Schadenstyp, charakteristisches Merkmal (Anomalie?)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenreduktion

Datenklassen in R

Boolean:      TRUE FALSE
Numerisch:    0 1 1.23 1.2e-3 -5 1L
Kategorisch:  "A" "klein" "gross"
Klassen:      colors <- list("red"=1,"green"=2,"blue"=3)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenreduktion

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen in R

Datenklassen in R

https://www.javatpoint.com/r-data-types Kerndatentypen in R

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen in R

Skalierung der numerischen Werte

Intervallskaliert

Für diese Art von Attributen sind nur Unterschiede (Addition oder Subtraktion) sinnvoll. Beispielsweise wird die in °C oder °F gemessene Temperatur intervallskaliert. Wenn es 20 °C an einem Tag und 10 °C am folgenden Tag ist, ist es sinnvoll, über einen Temperaturabfall von 10 °C zu sprechen, aber es ist nicht sinnvoll zu sagen, dass es doppelt so kalt ist wie am Vortag.

Verhältnisskaliert

Hier kann man sowohl Differenzen als auch Verhältnisse zwischen Werten berechnen. Zum Beispiel kann man für das Alter sagen, dass jemand, der 20 Jahre alt ist, doppelt so alt ist wie jemand, der 10 Jahre alt ist.

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen in R

Ordnungsrelationen

Nominal

Die Attributwerte in der Domäne sind ungeordnet und somit nur Gleichheitsvergleiche sinnvoll. Das heißt, wir können nur überprüfen, ob der Wert des Attributs für zwei bestimmte Instanzen gleich ist oder nicht. Zum Beispiel ist Geschlecht ein nominales Attribut.

Ordinal

Die Attributwerte sind geordnet und somit Gleichheitsvergleiche (ist ein Wert gleich einem anderen?) und relationale Vergleiche (ist ein Wert kleiner oder größer als ein anderer?) sind erlaubt, obwohl es möglicherweise nicht möglich ist, die Differenz zwischen den Werten zu quantifizieren!

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Datenklassen (longitudinal)

• Sensor- und Messdatenvariablen (sowohl kategorisch wie auch metrisch) können weiter unterschieden werden in:

Statisch

Die Variable s ist zeitlich nicht veränderlich bzw. ist in einem wesentlichen Zeitintervall t ∈ [t₀, t₁] als stationär (unveränderlich) anzusehen.

Dynamisch

Zeitlich veränderliche Variable s(t) ist zeitabhängig und bildet eine Datenserie (oder Zeitvektor) s(t)={s₀,s₁,..s_t} bei disketer Erfassung, d.h., wir sprechen von longitudinalen Daten.

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Strukturierte Daten

http://venus.ifca.unican.es/Rintro/dataStruct.html Strukturierung von Daten in Vektoren, Listen, Matrizen und Arrays (Tensoren)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Strukturierte Daten

• Vektoren: eindimensionale Arrays, die zum Speichern von Sammlungsdaten desselben Modus verwendet werden

  • Numerische Vektoren (Modus: numerisch)
  • Komplexe Vektoren (Modus: komplex)
  • Logische Vektoren (Modell: logisch)
  • Zeichenvektor oder Textzeichenfolgen (Modus: Zeichen)

• Matrizen: zweidimensionale Arrays zum Speichern von Datensammlungen desselben Modus. Auf sie wird über zwei ganzzahlige Indizes zugegriffen.

• Arrays: ähnlich wie Matrizen, aber sie können mehrdimensional sein (mehr als zwei Dimensionen)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Strukturierte Daten

• Faktoren: Vektoren kategorialer Variablen, die die Komponenten eines anderen Vektors gleicher Größe gruppieren sollen

• Listen: geordnete Sammlung von Objekten, wobei die Elemente unterschiedlichen Typs sein können

• Datenrahmen: Verallgemeinerung von Matrizen, in denen verschiedene Spalten unterschiedliche Modusdaten speichern können.

• Funktionen: Objekte, die vom Benutzer erstellt und für Berechnungen wiederverwendet werden.

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Datensätze als Matrizen

• Ein Menge von Daten kann in Matrizenform als Matrix D dargestellt werden (Analogie zur Tabellenform) [1]:

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

• Der Vektor X ist die Menge aller Variablen (Sensoren) und die Spalten der Matrix D:

$$\vec{X} = (x_{1},x_{2},..,x_{d})$$

• Jede Zeile x_j ist ein Rekord der Variablenmenge {X_i|i=1,d} mit konkreten Werten und geben als d-stelliges Tupel je nach Anwendung und Zielsetzung einzelne Beispiele, Instanzen, Experimente, Entitäten, Objekte, und Eigenschaftsvektoren wieder:

$$\vec{d}_j = \vec{x}_j = (x_{j,1},x_{j,2},..,x_{j,d})$$

D <- matrix(0,nrow=10,ncol=3)
colnames(D) <- c("x1","x2","y")

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Datentabellen

emp.data <- data.frame(
  emp_id = c (1:5), 
  emp_name = c("Rick","Dan","Michelle",
               "Ryan","Gary"),
  salary = c(623.3,515.2,611.0,729.0,843.25),   
  start_date = as.Date(c("2012-01-01", "2013-09-23", 
                         "2014-11-15", "2014-05-11",
                         "2015-03-27")),
  stringsAsFactors = FALSE
)

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Datenklassen (longitudinal)

Datentabellen

print(emp.data)
 emp_id    emp_name     salary     start_date
1     1     Rick        623.30     2012-01-01
2     2     Dan         515.20     2013-09-23
3     3     Michelle    611.00     2014-11-15
4     4     Ryan        729.00     2014-05-11
5     5     Gary        843.25     2015-03-27

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Eingabe- und Ausgabevariablen

Eingabe- und Ausgabevariablen

• Die Variablenmenge setzt sich aus Ein- und Ausgabevariablen zusammen

• Sensoren sind typischerweise Eingabevariablen x

• Aussagen sind Ausgabevariablen y, also Ergebnisse die sich aus den Eingangsvariablen ableiten lassen können (durch eine Funktion F):

$$\vec{X}_{xy} = (X_{1},X_{2},..,X_{u},Y_{1},Y_{2},..,Y_{v}) \\ \vec{X} = (X_{1},X_{2},..,X_{u}) \\ \vec{Y} = (Y_{1},Y_{2},..,Y_{v}) \\ \vec{d}_j = (x_{j,1},x_{j,2},..,x_{j,u},y_{j,1},y_{j,2},..,y_{j,v}) \\ F(\vec{X}): \vec{X} \rightarrow \vec{Y},$$

mit u+v=d.

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Merkmale und Eigenschaften (Features)

Merkmale und Eigenschaften (Features)

Wir unterscheiden zwei Arten von Merkmalen:

Eingabemerkmale Ft_i

Das sind Merkmale der Eingabedaten x. Das können z.B. statistische Eigenschaften wie der Mittelwert oder Frequenzen eines Zeitsignals sein. Die Merkmale sollen möglichst die Zielmerkmale verstärken, also eine signfikante (wenn auch noch nicht bekannte) Abhängigkeit Ft_o(Ft_i) besitzen

Ziel- und Ausgabemerkamel Ft_o

Das sind die Ergebnisse der Datenanalyse, z.B. die Antwort auf die Frage Schaden Ja/Nein?, oder eine Schadensposition, eine Überlebenswahrscheinlichkeit. Die Eingabemerkmale sind die starken Variablen für die Modellfunktion M, die wir suchen.

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Merkmale und Eigenschaften (Features)

• Die Merkmalsselektion ist also die Vorstufe und Datenvorverarbeitung, selten werd mit Rohdaten direkt gearbeitet

• Es muss eine Merkmalsselektionsfunktion MF geben, die automatisch die Merkmale aus den den Daten ableitet:

$${M}{\left(\vec{{x}}\right)}:\vec{{x}}\to\vec{{y}}\Rightarrow\\ {F}{t}_{{o}}\Leftrightarrow{y}\\ {M}{F}{\left(\vec{{x}}\right)}:\vec{{x}}\to\vec{{{F}{t}}}_{{i}}\\ {M}_{{t}}{\left(\vec{{{F}{t}}}_{{i}}\right)}:\vec{{{F}{t}}}_{{i}}\to\vec{{F}}{t}_{{o}}$$

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Beispiel einer Datenmatrix

Beispiel einer Datenmatrix

• Botanischer Datensatz mit geometrischen (numerischen) Eigenschaften einer Pflanze und kategorischer Klassifikation:

M. J. Zaki and W. Meira, Data Mining and Machine Learning - Fundamental Concepts and Algorithms,2020

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Beispiel einer Datenmatrix

• Messdatensatz

Stefan Bosse - Automatische Schadensdiagnostik - Modul A Daten und Sensoren :: Beispiel einer Datenmatrix

Prüftechnik und Messung

Quality Magazin, 2017