PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Taxonomie des Maschinellen Lernens

Zielvariablen: Kategorische Klassifikation, Numerische Prädiktorfunktionen, Gruppierung

Modellfunktionen: Mit welchen Daten- und Programmarchitekturen können Eingabevariablen auf Zielvariablen abgebildet werden?

Training und Algorithmen: Wie können die Modellfunktionen an das Problem angepasst werden?

Überwachtes, nicht überwachtes und Agentenlernen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Datenverarbeitung

• Die Daten die als Grundlage für die Induktion (Lernen) und die Deduktion (Applikation/Inferenz der Zielvariablen) müssen i.A. vorverabeitet werden → Merkmalsselektion

6 Maschinelles Lernen ist ein Werkzeug der Datenanalyse und des Data Minings

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Die Modellfunktion

• Die Modellfunktion soll möglichst genau und effizient die Eingabedaten X auf die Zielvariablen Y abbilden:

$$M(\vec{X}) : \vec{X} \rightarrow \vec{Y}, \\ X = \left\{ {\begin{array}{_{20}{l}} {{\text{diskrete kategorische Werte }}ℂ} \\ {{\text{numerische Werte }}\mathbb{N}{\text{,}}\mathbb{R}} \\ \end{array}} \right.,\\ Y = \left\{ {\begin{array}{_{20}{l}} {{\text{diskrete kategorische Werte }}ℂ} \\ {{\text{numerische Werte }}\mathbb{N}{\text{,}}\mathbb{R}} \\ {{\text{Gruppen(X), Netzwerke }}ℚ} \end{array}} \right.$$

• Die Modellfunktion M approximiert eine i.A. nicht bekannte Funktion F, d.h. eine axiomatisch oder analytisch abgeleitete Modellfunktion (z.B. phys. Gesetze) → M ist Hypothese von F!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Beispiel

100 Kausale vs. Prädiktive Modellbildung und Physikalische Modelle versa algorithmisch bestimmte Modelle (Hypothesen)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Lernen

Lernen bedeutet die gewünschte Modellfunktion M möglichst genau zu approximieren so dass min error(|Y₀-Y|) für alle (X,Y₀) Paare gilt (Y₀: Referenzdaten).

• I.a. ist M eine parametrisierbare Funktion f(P) oder eine parametrisierbare Datenstruktur

  • Der Parametersatz P={p₁,p₂,..,p_i} bestimmt sowohl Funktion als auch Struktur (z.B. eines Entscheidungsbaumes)

• Es gibt nicht eine Modellfunktion M, sondern eine große Menge möglicher Funktionen, genannt Hypothesen ℍ.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Lernen bedeutet also die bestmögliche Anpassung des Parametersatzes P um den Fehler zu minimieren und eine geeignet Hypothesenfunktion zu finden.

• Man unterscheidet bekannte Referenzwerte der Zielvariablen (und Beziehung zu X) Y₀, auch Labels genannt, und prognostische Werte Y die als Ergebnis von M(X) geliefert werden (Inferenzwerte), d.h. bei der Applikation ist der wahre Wert Y_t unbekannt (Schätzung von Y_t)

$$H(\vec{X}) : \vec{X} \rightarrow \vec{Y}, \\ ℍ = \{ M_1^{P1},M_2^{P2},..,M_k^{Pk}\}, \\ error(X,Y_0,M)=|M(X)-Y_0|$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Beispiele

Verschiedene Modellfunktionen M die die (Trainings) Daten repräsentieren

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Kreuzvalidierung

• Beim Training wird ein Inferenzfehler zunächst aus Trainingsdaten bestimmt → Trugschluß!
• Stattdessen müssen auch unabhängigige Testdaten für eine Kreuzvalidierung herangezogen werden, und dann ...

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Fehler (Verlust)

Jede Hypothesenfunktion M ∈ ℍ führt zu einem Informationsverlust durch Appoximation der tatsächlichen und unbekannten Modellfunktione F.

• Es gilt also:

$$M(x) : x \rightarrow y = F(x)+E(x)$$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

• Die Hypothesenmenge ℍ ist also tatsächlich eine Approximation eines unbekannten "exakten" Modells (Modellfunktion) M_F, die z.B. mittels physikalischer oder soziologischer Modelle ableitbar wäre.

• Genauso wie eine Sensor eine physikalische Größe nur approximieren kann, der tatsächliche Wert der zu messenden Größe ist nicht bekannt

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

11 Training als Anpassung von Hypothesen für die Abbildungfunktion X → Y mit Trainingsdaten

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Parametrisierung

Die Paramater in dem Parametersatz P bestehen aus zwei Klassen:

Statische Parameter P_s

Parameter die die Modellimplementierung (Funktion, Datenstruktur, usw.) festlegen und i.A. während des Trainings und der Applikation unverändert bleiben. (Ausnahme: Evolutionäre Algorithmen) → Konfiguration

Dynamische Parameter P_d

Parameter die während des Trainings verändert (angepasst) werden. Z.B. Funktionsparameter oder Kantengewichte von neuronalen Netzen → Adaption

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Beispiele

1. Numerische Prädiktorfunktionen (T: Temperatur, S: Satisfaction) → Regression

$$f(T) : T \rightarrow S = a+bT+cT^2+dT^3, \\ P_s=\{degr:3\}, P_d=\{a,b,c,d\}, S=[0,1] \\ f(T) : T \rightarrow S = a+bT+cT^c+dT^e, \\ P_s=\{terms:4,lin:2,exp:2\}, P_d=\{a,b,c,d,e\}, S=[0,1] \\ $$

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

2. Künstliches Neuronales Netzwerk

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Daten

Trainingsdaten D_train

Datentabellen die aus Zeilen mit einer bekannten Beziehung (X,Y) bestehen und verwendet werden die Modellfunktion M durch Veränderung von P zu approximieren

Testdaten D_test

Datentabellen die aus Zeilen mit einer bekannten Beziehung (X,Y) bestehen und verwendet werden die Modellfunktion M auf Genauigkeit und Fehler zu testen. Man spricht auch von einer Kreuzvalidierung da D_test ∩ D_train = ∅ sein sollte.

Inferenzdaten D_inf

Datentabellen die nur aus Zeilen X bestehen (Y ist unbekannt)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Es gilt: D_train ⊆ D_all, D_test ⊆ D_all, D_inf ⊆ D_all aber D_train ∩ D_test = ∅ und D_train ∩ D_test ∩ D_inf ≠ ∅ (Idealfall!)

Die großen Probleme beim algorthmischen/trainierten Modellieren:

• Die Trainingsdaten sind nicht repräsentativ (Umfang, Varianz, Qualität)

• Die Testdaten sind nicht repräsentativ (Umfang, Varianz, Qualität)

• Die Trainingsdaten enthalten schwache Variablen die nicht entfernt wurden (Inkonsistenz und geriner Informationsgewinn)

Generalisierung. Das gelernte Modell M bildet alle drei Datenmengen gleichermaßen gut ab!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Lernverfahren

Überwachtes Lernen

Es gibt Trainingsdaten mit bekannten Beziehungen (X,Y) die verwendet werden um die Modellfunktion mit minimalen Fehler anzupassen. Überwachugn benötigt i.A. einen Experten der die Beziehungen (X,Y) erstellt und analytisch den Fehler bewertet.

Unüberwachtes Lernen

Es gibt Trainingsdaten ohne bekannte beziehung (X,Y), d.h., schon das Lernen führt zu einer automatischen Inferenz der zielvariablen Y, die aber in diesem Fall i.A. nur durch Gruppenmengen ℚ bestehen. Eine Gruppenmenge Q={X_i} ⊆ ℚ bringt verschiedene Eingabewerte in Beziehung. D.h. Y ≡ ℚ.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Belohnungs- und Agentenlernen

Die Abbildungsfunktion f(X): X → Y wird schrittweise durch eine Evaluierung des inferrierten Y mit einem Belohnungswert r=[0,1] gelernt. Training und Inferenz findet gleichzeitig statt.

6 Ablauf Überwachtes Lernen mit Trainings- (Induktion) und Applikationsphasen (Deduktion)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Taxonomie der Verfahren

Abdul Rahid,www.wordstream.com

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Überwachte Lernverfahren - Unterklassen

4 Zwei wichtige Unterklassen von überwachten Lernen: Regression (Numerische Zielvariablen) und Klassifikation (Kategorische Zielvariablen)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Dimensionalitätsreduktion

• ML kann auch für die Reduktion von Datendimensionalität eingesetzt werden (Informationen sind reduzierte Daten)
  • Beispiele: Principle Component Analysis, Single Value Decomposition, ..

4 Abbildung von hochdimensionale Daten Xⁿ auf niederdimensionale X^m mit m < n

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Unüberwachtes Lernen - Unterklassen

4 Zwei wichtige Unterklassen von nicht überwachten Lernen: Clustering (Gruppenbildung) und Ausreißerdetektion

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Training

• Das Training einer Modellfunktion M kann

  • monolitisch (alle Dateninstanzen werden "parallel" verwendet), oder
  • stapelbasiert (d.h. Gruppen von Instanzen werden "parallel" verarbeitet), oder
  • iterativ (Dateninstanzen werden "sequenziell" verwendet), und
  • inkrementell (iterativ mit neuen Daten).

• Inkrementelle Trainings- und Anpassungsverfahren könnne alte Datensätze verwerfen → Stromldatenlernen!

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

• Nicht jede Modellimplementierung ist geeignet:
  • Graphen (Bäume) können i.A. nur monolotisch trainiert = erzeugt werden!
  • Regression von math. Funktionen kann monolitisch und/oder iterativ erfolgen;
  • Neuronale Netze können monolitisch, stapelbasiert, iterativ, und vor allem inkrementell trainiert werden.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Modellimplementierungen

Es gibt im wesentlichen vier verschiedene Architekturen die Modelle M zu implementieren:

Funktionen

Die Struktur einer mathematischen Funktion wird durch ihre Terme gebildet (Berechnungsknoten), z.B. ax+bx². Zu jedem Term gehört ein dynamischer Parameter der beim Training angepasst wird um den Fehler zu minimieren. Das Ergebnis ist die Zielvariable y.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Gerichtete Graphen

Gerichtete Graphen (oder Entscheidungsbäume) bestehen aus Knoten und Kanten. Die Knoten repräsentieren eine Eingabevariable (Attribute) x ∈ X. Die Kanten beschreiben die Entwicklung eine Graphens beginnend vom Wurzelknoten hin zu den Blättern. Die Blätter enthalten die Werte der Zielvariable(n) y. Der dynamische Paremetersatz ist der Graph (dessen Struktur).

Funktionale Graphen

Hybrid aus gerichteten Graph und Funktion → Künstliche Neuronale Netze. Die Knoten repräsentieren Berechnungsfunktionen, die Kanten verbinden Ausgänge von Funktionen mit Eingängen. Es gibt Eingangsknoten die mit den Eingabevariablen X verbunden sind, und Ausgangsknoten die mit den Ausgangsvariablen Y verbunden sind.

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Ungerichtete Graphen

Hier repräsentieren die Knoten Dateninstanzen X, und die Kanten verbinden die nächsten Nachbarn miteinander. Hier geht es um Gruppenbildung (k nächste Nachbarn/kNN Problem).

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Verschiedene Modellimplementierungen

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Hybride Modelle

Multiinstanz Modelle

• Ensemblelernen vereint multiple Modelle (gleicher Klasse oder unterschiedlich)

$$M(\vec{X}) : \vec{X} \rightarrow \vec{Y} = \Phi(\{M_1(X),M_2(X),..,M_n(X)\})$$

• Die einzelnen Modellinstanzen arbeiten mit gleichen oder verschiedenen Dateninstanzen

• Es gibt eine Split- und eine Join Schicht (Kombinierer, Modellfusion)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Jay Budzik, www.thetalkingmachines.com

Verschiedene Architekturen für Multiinstanz Lernen und Inferenz

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Instanzklassifikation

SLSP

Einzelinstanz Lernen (auf allen Daten) und Einzelinstanz Prädiktion (Inferenz auf allen Daten)

SLMP

Einzelinstanz Lernen (auf allen Daten) und replizierte Multiinstanz Prädiktion (Inferenz auf Teildaten mit Modellfusion)

MLSP

Multiinstanz Lernen (auf Teildaten) mit Modellfusion und Einzeninstanz Prädiktion (Inferenz auf allen Daten)

MLMP

Multiinstanz Lernen und Multiinstanz Prädiktion (Modellfusion)

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Ablauf und Phasen von ML

0. Statistische Analyse und Bewertung der Daten

1. Merkmalsselektion

2. Aufteilung der Daten in Trainings- und Testdaten (i.A. randomisiert) D=D_train ∪D_test

3. Training einer Modellfunktion M mit bekannten (gelabelten bei ÜL) Trainingsdaten D_train unter Bewertung des Modellfehlers E(X)

4. Test und Bewertung von M mit bekannten Daten D_test

5. Applikation (Inferenz) von M auf unbekannten Daten D

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

Zusammenfassung

Maschinelles Lernen besteht aus:

1. Modellimplementierungen:

   • Funktionen, Gerichtete Graphen, Funktionalen Graphen, Ungerichtete Graphen, also mit/für
   • Regression, Entscheidungsbäume, Neuronale Netze, Clustering (kNN)

2. Aufgaben

   • Regression, Klassifikation, Gruppierung (Clustering), Prognostik

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

3. Methoden und Verfahren

   • Überwachtes, nicht überwachtes, und rückgekoppeltes Belohnungslernen
   • Monolitisches, stapelbasiertes, iteratives, und inkrementelles Lernen
   • Einzel- versa Multiinstanzlernen
   • Enscheidungsbaumlernen (Konstruktion), Support Vector Machines (Regression), Backpropagation in Neuronalen Netze, usw.

4. ML besteht aus mehreren Phasen:

   • Datenerhebung, Datenvorverarbeitung, Statistische Bewertung, Merkmalsselektion, Modellertsellung, Training, Test und Analyse (Kreuzvalidierung), Anwendung/Inferenz

PD Stefan Bosse - Maschinelles Lernen und Datenanalyse - Modul C: Taxonomie des Maschinellen Lernens

5. Daten werden unterteilt in:
   • Trainingsdaten , Testdaten, Anwendungsdaten
   • Trainings- und Testdaten bei ÜL mit (x,y) Beziehungen (Labelling)