Stefan Bosse - Automatische Schadensdiagnostik - Modul F ::

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze ::

Zustandsbasierte Netze

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: Wiederholung: FF-ANN

Wiederholung: FF-ANN

• Ein vorwärtsgekoppeltes ANN (Feed forward) besteht aus Neuronen die jeweils durch Funktionen f(i):i → o repräsentiert werden können.

• Die Funktionen f werden als azyklischer gerichteter Graph dargestellt (also das NN), d.h., kein Neuron hat ein Eingangssignal von nachfolgenden Neuronen (die das Ausgangssignal dieses Neurons enthalten)

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: Wiederholung: FF-ANN

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: Recurrent ANN: Die Rückkopplung

Recurrent ANN: Die Rückkopplung

• Ausgänge von Ausgangs- oder inneren Neuron werden auf Eingänge von vorherigen Neuronen gekoppelt

• Dadurch werden die Netzwerke zustandsbasiert, d.h., die aktuellen Ausgänge hängen neben den aktuellen Werten der Eingänge von der Historie der Werte von Ein- und Ausgängen ab!

• Recurrent ANN (RNN) sind durch hohe "Instabilität" schwierig mit gradientenbasierten Verfahren zu trainieren!

• Daher im Laufe der Zeit verbesserte Architekturen wie LSTM oder GRU Netzwerke

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: LSTM Netzwerke

LSTM Netzwerke

• Long-short-term Memory (LSTM) Netzwerke bilden eine bekannte Architektur die:
  • Für die Daten- und Zeitserienprädiktion verwendbar sind
  • Mit gradientenbasierten Trainingsverfahren einigermaßen stabil (konvergent) trainiert werden können

Daten- und Zeitserien

• Es sei {x_n}^t eine Serie von Eingabedaten (z.B. zeitaufgelöstes Sensorsignal einer Ultraschallmessung), d.h. {x_n}={x₁,x₂,..,x_t}
• Die einzelnen Werte (skalar oder vektoriell) sind aufeinander folgend → Ordnungsrelation

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: LSTM Netzwerke

$$f_\delta(\{s_i\}_i^n,n): {s_{n-m},s_{n-m+1},..s_n} \rightarrow s_{n+\delta}$$

Datenserie und Prädiktion s(n+δ)

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: LSTM Netzwerke

• Neben der Prädiktion von "zukünftigen" Entwicklungen einer Variable x_i kann auch eine zukünftige Prognostik einer anderen Zielvariable y_i erfolgen:

$$f_\delta(\{x_i\}_i^n,n): \{x_{n-m},x_{n-m+1},..x_n\} \rightarrow y_{n+\delta}$$

• Etwaige Zielvariablen könnten aus dem Signal abgeleitete Eigenschaften (Merkmale) sein:
  • Schadensinformation
  • Änderung einer zweiten Sensorvariable
  • Zustandsvariable
  • Veränderung von Betriebsbedingungen
  • Prozessparameter

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: Netzwerkarchitekturen

Netzwerkarchitekturen

(Oben) Die Datenserie kann sequentiell (in ein RNN/LSTM) oder auch (Unten) parallel in ein FNN eingegeben werden

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: LSTM Zelle

LSTM Zelle

• Eine LST Zelle besteht aus:

  • Einer "Speicherzelle"
  • Mehreren Gattern die aktiv Verbindungen (Kanten) zwischen Neuronen steuern, d.h., effektiv das Kantengewicht in Abhängigkeit von Ausgangswerten von Neuronen verändern /Ventile/

• Ein wichtige Rolle bei der Speicherung vergangener Daten (Gedächtnis) ist das Vergessen gesteuert durch das "Forget Gate"

Beispiel für eine "gedämpfte" Gedächtnisfunktion: Ein Tiefpassfilter 1. Ordnung

$$f(x,n)=f(n-1)\sdot\alpha+\beta \sdot x$$

Stefan Bosse - Automatische Schadensdiagnostik - Modul F Zustandsbasierte Netze :: LSTM Zelle

• Der Parameter β=(0,1) bestimmt den Einfluss neuer Werte x und der Parameter α=(0,1) bestimmt den Einfluss alter Werte (Vergessen); i.A. α=1-β