PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Daten und Sensoren

Metriken von Daten

Metriken von Aussagen

Sensoren als Datenquellen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Daten

• Daten sind die Grundlage für die Modellbildung und Modelltestung

• Daten können aus einer Vielzahl von Quellen stammen

  • Experiment
  • Simulation
  • Feldstudie
  • Abgeleitet aus anderen Datensätzen:
    MapAndReduce(D): D → D'

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Daten

• Allgemein kann man Daten und deren Werte unterteilen in:

  • Skalare Werte, wie Temperatur, Alter, usw.
  • Serien von Skalaren Werten, wie Zeitserien
  • Vektorielle Werte wie Bilder
  • Zusammengesetzte Daten, also Datenrecords

• Daten haben daher eine Dimensionalität 𝕏^N, wobei die Wertemenge 𝕏 einer Dimension aus den ganzen ℕ, reelen ℝ, der Zeit 𝕋 oder kategorischen Wertemengen 𝕊 bestehen kann (oder Untermengen davon).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Datenreduktion

• Ziel der Datenanalyse ist die Reduktion von Eingabedaten bezüglich Größe und Dimensionalität:

$$P(X^N): X^N \rightarrow Y^M\\ |Y|<|X|, M<N$$

function isRaining(temp,sunrad,moisture) = 
  temp < 0 ? → false
  temp > 40 ? → false
  (sunrad-moisture) > 30? → false
  true

Beispiel einer Datenreduktionsfunktion ℝ³ → 𝔹

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Datenklassen

Numerische und Metrische Werte

Das sind Werte die abzählbar sind und wo man Relationen (wie kleiner oder größer) sinnvoll definieren kann, also alle reellen und ganzen Zahlen.

• Beispiele: Temperatur, Länge, Ort, Zeit

Kategorische Werte

Das sind symbolische Werte für die entweder keine (sinnvolle) Ordnungsrelation existiert oder wo sich wenigstens keine Differenzen bilden lassen.

• Beispiele: Staatsangehörigkeit, Farbennamen (rot < gelb???), Schadenstyp

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Skalierung der numerischen Werte

Intervallskaliert

Für diese Art von Attributen sind nur Unterschiede (Addition oder Subtraktion) sinnvoll. Beispielsweise wird die in °C oder °F gemessene Temperatur intervallskaliert. Wenn es 20 °C an einem Tag und 10 °C am folgenden Tag ist, ist es sinnvoll, über einen Temperaturabfall von 10 °C zu sprechen, aber es ist nicht sinnvoll zu sagen, dass es doppelt so kalt ist wie am Vortag.

Verhältnisskaliert

Hier kann man sowohl Differenzen als auch Verhältnisse zwischen Werten berechnen. Zum Beispiel kann man für das Alter sagen, dass jemand, der 20 Jahre alt ist, doppelt so alt ist wie jemand, der 10 Jahre alt ist.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Ordnungsrelationen

Nominal

Die Attributwerte in der Domäne sind ungeordnet und somit nur Gleichheitsvergleiche sinnvoll. Das heißt, wir können nur überprüfen, ob der Wert des Attributs für zwei bestimmte Instanzen gleich ist oder nicht. Zum Beispiel ist Geschlecht ein nominales Attribut.

Ordinal

Die Attributwerte sind geordnet und somit Gleichheitsvergleiche (ist ein Wert gleich einem anderen?) und relationale Vergleiche (ist ein Wert kleiner oder größer als ein anderer?) sind erlaubt, obwohl es möglicherweise nicht möglich ist, die Differenz zwischen den Werten zu quantifizieren!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Daten

Datensätze als Matrizen

• Ein Menge von Daten kann in Matrizenform als Matrix D dargestellt werden (Analogie zur Tabellenform) [1]:

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

• Die Zeilen sind Rekords der Variablenmenge {X_i|i=1,d} und geben als d-stelliges Tupel je nach Anwendung und Zielsetzung einzelne Beispiele, Instanzen, Experimente, Entitäten, Objekte, und Eigenschaftsvektoren wieder

$$\vec{x}_i = (x_{i1},x_{i2},..,x_{id})$$

• Der Vektor X ist die Menge aller Variablen (Sensoren) und die Spalten der Matrix D:

$$\vec{X} = (x_{1},x_{2},..,x_{d})$$

type row = { X1:number, X2:number, .., Xd:number }
type table = row array;

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Eingabe- und Ausgabevariablen

• Sensoren sind typischerweise Eingabevariablen x

• Aussagen sind Ausgabevariablen y, also Ergebnisse die sich aus den Eingangsvariablen ableiten lassen können (durch eine Funktion F):

$$\vec{X} = (x_{1},x_{2},..,x_{u},y_{1},y_{2},..,y_{v}) \\ \vec{x}_i = (x_{i1},x_{i2},..,x_{iu},y_{i1},y_{i2},..,y_{iv}) \\ F(\vec{x'}): \vec{x'} \rightarrow \vec{y},$$

mit u+v=d.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Beispiel einer Datenmatrix

• Medizinischer Datensatz mit Eigenschaften der Augeniris:

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Attribute

• Die gemessenen Variablen X₁ bis X₄ sind metrische Datenvariablen, die Variable X₅=y ist eine kategorische Variable!

• Die gemessenen Variablen X₁ bis X₄ (also Sensoren) nennt man Attribute, da sie Eigenschaften und beschreibende Variablen der Zielvariablen y sind

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoren

Welche Sensoren und Messdaten kennt ihr:

• Temperatur×
• RGB×
• Druck×
• Spannung×
• Licht×
• E-Modul×
• Kraft×
• FarBe×
• Weg×
• Strahlung×
• Ströme×
• SpektralBereiche×
• Zeit×
• No search results.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoren

• Messtechnik

  • Physikalische Größen wie Temperatur, Dehnung, Spannung, Zeit
  • Fusionierte Umfragevariablen (z.B. Ensemblemittelwerte)

• Bei der Messung mit Sensoren unterscheidet man:

  • Einmalige bzw. einzelne Messungen (single shot)
  • Wiederholte Messungen der gleichen physikalischen Größe (Mittelwertbildung..)
  • Serien von Messwerten, vor allem zeitaufgelöste Datenserien:
    D = {d₁,d₂,..,d_n}, wobei i.A. Δt(d_i,d_i+1)=constant

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensormodell

• Ein Sensor ist ein Messwandler, auch in der Soziologie (Indikator für eine Eigenschaft die nicht direkt messbar ist)

• Ein Sensor bildet daher eine i.A. physikalische Größe x auf eine andere Größe y ab:

$$S(x): x \rightarrow y,K:correct(x \rightarrow y)$$

• Es gibt i.A. eine Kalibrierungsfunktion $K(f,x,y)$

• Beispiele: Druck → Spannung, Strahlung → Strom, usw.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensordaten

• Sensoren S sind Datenquellen d von physikalischen, soziologischen oder sonstigen natürlichen nicht direkt erfassbaren Größen x

• Die Datenwerte (numerisch) werden in einem definierbaren Intervall liegen

  • Die Kenntnis des Werteintervalls ist wichtig für spätere Datenverarbeitung, Analyse, und Maschinelles Lernen!
  • Kategorische Werte werden ebenfalls durch eine Menge definiert

$$S(x): x \rightarrow d \\ d \in [a,b] \Rightarrow {v_0,v_1,..,v_i}$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Mess- und Sensorische Systeme

Der Ursprung der Daten für Analyse und Maschinelles Lernen!

Ein Sensor kommt selten allein.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Sensorklassen

Physische Sensoren

Physische Sensoren messen direkt eine Größe mit einem Messinstrument (kann auch die Auswertung einer Frage in einem Fragebogen sein), Smartphone

Virtuelle Sensoren

Verwenden Daten (von physischen und anderen virtuellen Sensoren) um neue sensorische Werte zu berechnen (kein Messinstrument) → Aggregatoren!!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Schichtenmodell von Sensorischen Systemen

In sensorischen Systemen werden Sensordaten in verschiedenen Ebenen verarbeitet:

• Vertikale Ebenen repräsentieren die sensorischen Domainen und die Sensorklassen;

• Horizontale Ebenen repräsentieren die Datenverarbeitung.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Vertikale Ebenen

Perzeption

Hier findet die Akquisition der rohen Sensordaten statt. Die Sensoren sind räumlich verteilt und werden lokal vorverarbeitet.

Aggregation

Einzelne Sensordaten werden zeitlich und räumlich zusammengeführt und gesammelt (Sensorfusion)

Applikation

Die gesammelten Daten werden nutzbar gemacht: Weitere Datenverarbeitung, Aufbereitung, Eigenschaftsselektion, Informationsgewinnung, Visualisierung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Horizontale Ebenen

• Die horizontalen Ebenen durchziehen alle vertikalen Ebenen:
  1. Sicherheit
  2. Datenverarbeitung
  3. Kommunikation
  4. Datenspeicherung
  5. Nachrichtenvermittlung
  6. Management

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Grundlegender Zusammenhang der horizontalen und vertikalen Ebenen in Sensorischen Systemen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoraggregation

Räumliche Abbildung der vertikalen Ebenen auf Cloud Computing

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Sensoren in den Ebenen

Perzeption

Vorwiegend physische Sensoren

Aggregation

Virtuelle Sensoren, Datenreduktion (Größe und Dimensionalität)

Applikation

Datenanalyse und Modellbildung, Inferenz von Information, Maschinelles Lernen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

• Die Messgrößen können statisch (zeitlich konstant) oder dynamisch (zeitlich veränderlich) sein. Die Wandlung dieser Messgrößen ergeben dann entsprechend Gleich- und Wechselsignale.

• Auch eine prinzipiell zeitlich unveränderliche Messgröße (bezogen auf die Messung in einem vorgegeben Zeitinterval τ) erzeugt kein konstantes Signal. Ursache: Rauschen

• Wiederholt man daher eine Messung N-mal unter gleichen Bedingungen, so wird man eine Reihe von verschiedenen Messwerten {s₁,s₂,...,s_n} erhalten.

• Es gibt systematische und zufällige Fehler bei der Messung, die sich überlagern.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

Offset und Präzision bei der Messung einer Variable X

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

Systematische Fehler

• Eine Messgröße X ist meistens durch störende Messgrößen Y,Z,... usw. überlagert:

$$K(X,Y,Z){\text{ }}:{\text{ }}X \times Y \times Z \to S,K(x,y,z) \approx \sum\limits_{n = 0}^m {{a_n}{x^n}}+ \sum\limits_{n = 0}^m {{b_n}{y^n}} + \sum\limits_{n = 0}^m {{c_n}{z^n}}$$

• So kann z.B. bei einer Messung einer Kraft oder einer Dehnung die umgebende Temperatur T oder Strukturschwingungen Einfluss auf den Sensor und dessen Übertragungsfunktion und somit auf das Messsignal S haben.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

• Systematische Fehler verfälschen die Kalibrierungsfunktion (z. B. bei Geraden den Offset und Steigung). Sind sie bekannt, können sie kompensiert (rausgerechnet) werden.
• Systematische Fehler können aber auch während der Signalverarbeitung entstehen, so z. B. Offsetspannungen und zeitlicher Drift von Parametern (Verstärkungsfaktor).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

Zufällige Fehler - Streuung

• Zufällige Fehler beeinflussen die Genauigkeit einer Messung (Rauschen).

• Wiederholt man eine Messung einer Größe X die durch reine zufälligen Fehler verfälscht wird, so ist die Häufigkeitsverteilung der Messwerte S={s₁,s₂,...,s_n} um einen Mittelwert $\bar S$ durch eine Gaussverteilung gegeben (dabei muss die Anzahl der Messungen N groß sein).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Häufigkeitsverteilung nach Gauss von Messwerten um einen Mittelwert

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

• Der Mittelwert S repräsentiert die Abschätzung des wahren/wirklichen Wertes Σ der Messgröße X (oder S):

$$\bar S{\text{ = }}\frac{1}{N}{\text{ }}\sum\limits_{i = 1}^N {{s_i}}$$

• Die Standardabweichung ist ein Maß für die Zuverlässigkeit (Präzision) der einzelnen Messwerte einer Messreihe {s₁,s₂,...,s_n}:

$$\sigma {\text{ = }}\sqrt {\frac{1}{{N - 1}}{\text{ }}\sum\limits_{i = 1}^N {({s_i}} - \bar S{)^2}} {\text{ }}$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Eine Vergrößerung der Anzahl N der Messungen (unter gleichen Bedingungen!) führt zu einer Verbesserung des Mittelwertes $\bar S$ (Grenzfall N → ∞), nicht aber zu einer wesentlichen Verkleinerung der Standardabweichung σ, da die Genauigkeit nicht steigt!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

• Der wirkliche Mittelwert Σ ist nicht bekannt (nur im Grenzfall N → ∞ ist $\bar S$=Σ) - Es gibt aber ein Vertrauensintervall mit einer Wahrscheinlichkeit P dass dieser darin enthalten ist:

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Messfehler und Vertrauen

• Auch in der Soziologie!

Rauschquellen bei einer Messung

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul A: Daten und Sensoren

Beispiele