teil 1 otto-von-guericke-universität magdeburg institut ...€¦ · teil 1...
Post on 18-Sep-2018
217 Views
Preview:
TRANSCRIPT
Lehrveranstaltung Künstliche neuronale Netze
Teil 1Teil 1
OttoOtto--vonvon--GuerickeGuericke--Universität Magdeburg Universität Magdeburg
Institut für Elektronik Signalverarbeitung und Institut für Elektronik Signalverarbeitung und Kommunikationstechnik Kommunikationstechnik -- IESKIESK
Dr.Dr.--Ing. Andreas HerzogIng. Andreas HerzogInstitut für Psychologie II Institut für Psychologie II
andreasandreas.herzog@.herzog@ovguovgu.de .de
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
2
Lehrveranstaltungen, KNN
• Neuronale Netze Teil 1 (Informationstechnik)Für ET, ITGrundlagen, Neuron, LernvorgängeNetztypen, AnwendungenFragen in Klausur Informationstechnik
• Praktikum InformationstechnikVersuch Künstliche Neuronale Netze
• Neuronale Netze Teil 2(Separate Veranstaltung, Dr. Seiffert)Für IT, ET(Lehrveranstaltung Generische Algorithmen)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
3
Materialien
• Vorlesungsscript (pdf, nn2000):Version 2008 (aktuelle Version)
• Java-Appletszum Veranschaulichen dynamischer Vorgänge
• Literatur:A. Zell: Simulation neuronaler NetzeSimon Haykin: Neural Networks (2nd edition)Matlab KNN-Toolbox – HilfeWikipedia.de
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
4
Themen im Teil 1
1. Einführung - Künstliche Neuronale NetzeÜberblick - Anwendungen
Biologischer Hintergrund
2. Mehrschicht - Perzeptron
3. Selbstorganisierende Karten
4. Weitere Netztypen und Anwendungen
• Teil 2
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
5
1. Einführung
1.1 Überblick Künstliche Neuronale Netze
1.2 Biologische Grundlagen Künstlicher Neuronaler Netze
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
6
Begriff, Aufbau, Bezeichnung
• Künstliche Neuronale Netze sind informationsverarbeitende Systeme, die sich an der Funktionsweise biologischer Gehirnen orientieren.
• Sie bestehen aus einer Anzahl einfachen Einheiten (Zellen, Neuronen), die über gerichtete Verbindungen Informationen austauschen.
Gebräuchliche Abkürzungen:KNN – Künstliches Neuronales NetzANN – Artificial Neural Network
x1
x2y2
y1
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
7
Künstliche neuronale Netze
System zur Informationsverarbeitung• lernfähig: Funktion nicht explizit vorgeben, sondern nach Beispielen
lernen • fehlertolerant: Störungen werden unterdrückt• generalisierend: Ähnliche Beispiele werden erkannt
Lernverfahren
KNNEingänge Ausgänge
X Y
Beispiele
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
8
Anwendungsbeispiele
• KlassifikationMit/ohne ZielvorgabeZeichenerkennung, SortierungDatenkompressionClusteranalyse
• FunktionsapproximationKennlinienliniearisierung (Interpolation)FilterVorhersage, ExtrapolationDatenkompression
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
9
Zusammenfassung der Eigenschaften
• Lernfähigkeit- die Funktion nicht explizit vorgeben- aus Beispielen lernen,
• Approximationsfähigkeit und Fehlertoleranz,- unvollständige oder leicht abweichende Eingabemuster erkennen und richtig verarbeiten,
• Geschwindigkeit- parallele Verarbeitung der Daten (nur bei Spezialhardware oder Parallelrechner)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
10
Realisierung
• Computersimulation (überwiegend)Matlab KNN – ToolboxSNNSJava-Applets Software Bibliotheken
• Spezielle Hardware (selten)Echtzeitanwendungen (Bildverarbeitung)Biologische Simulationenbei Restriktionen (Platz, Stromverbrauch, Datenmenge,...)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
11
Aufbau
• Neuron (Recheneinheit)ein oder mehrere Eingängeein Ausgang
• VerbindungenGerichtet vom Ausgang eines Neurons zum Eingang eines Neurons (Rückkopplung möglich)
• Eingangs- und AusgangssignaleZahlenwerte (nicht dynamisch)Verschiedene Wertebereiche, Diskretisierung
• Eingangsdatenraum des NetzwerksDimension nach Anzahl der Eingänge
Eing
änge
Aus
gang
Lehrveranstaltung Künstliche neuronale Netze
1.2 Biologische Grundlagen künstlicher Neuronaler Netzwerke
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
13
Biologisches Neuron
Eingang
Ausgang
Axon
Soma
Mikroskopbild einer Nervenzelle
Dendriten
Synapsen
passive Weiterleitung
Kodierung
Impuls-weiterleitung
tImpulsfolge
tImpulsfolge
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
14
Vergleich
• Tabelle Computer – Gehirn
• Gehirnjede Nervenzelle ist mit etwa 10.000 anderen Nervenzellen verbunden (Verbindungen variabel)Lernfähig, flexibel Massiv parallel, Regel- und Lernvorgänge in jeder Verbindung100 Schritt Regel (Erkennen von Personen in 0.1 s)
Menschliches Gehirn Rechner Verarbeitungselemente ca. 10 Milliarden Neurone mehrere Millionen
Transistoren Art massiv parallel im allg. seriell Speicherung assoziativ adreßbezogen Schaltzeit eines Elements ca. 1 ms (1 kHz) ca. 1 µs (1 GHz)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
15
Biologische Grundlagen
• Menschliches Gehirn ist derzeit das Informationssystem mit der
höchsten Komplexität und größten Leistungsfähigkeit
aller bekannten und vergleichbaren natürlichen und künstlichen Systeme.
• Denken und Intelligenzumfaßt eine Vielzahl sehr umfangreicher Operationen
• KNNMustererkennung, Klassifizierung, Approximation
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
16
Neuronaler Code
• Informationen im Neuronalen NetzwerkNicht an allen Stellen gleichSpikefrequenzAbstand der Spikes Gruppen von NeuronenSpikemuster
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
17
Zusammenspiel biologischer Neurone
Höhere FunktionenSynchronisieren, desynchronisieren Rhythmen spielen große RolleLit: Rhythms of the Brain (G. Buzsáki), 2006
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
18
Biologisch plausibles künstliches Neuron
Kabelgleichung
Impulserzeugung
( ) ( ) ( )( ) ( )txIrVtxVt
txVx
txVinjmrestm
mm
m ,,,,2
22 −−+
∂∂
=∂
∂ τλ
DendritenbaumAxonhügel
( ) ( ) ( )LmLKmKNamNaion EVGEVGEVGI −+−+−=
hmgG NaNa3= 4ngG KK =
( )( ) ( ) hmnppVpVdtdp
iiiii ,,;1 =−−= βα
Hodgkin-Huxley Gleichungen
Differentialgleichungen numerisch lösen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
19
Weitere Mechanismen
• Plastizität des Gehirns (Lernen, Entwicklung)Stabilität vs. Plastizität Änderung von Synapsen (STP, STD, LTP, LTD, Scaling, STDP)Umbau der Architektur
• Modelle phänomenologische Modelle molekulare Mechanismen (Systembiologie)
pre post
Izhik
evic
h E
M (
2007)
Cer
ebC
ort
ex
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
20
Gehirn Simulieren?
• Kann man das gesamte Gehirn simulieren?Nicht alle Regelvorgänge sind bekannt und können erfaß werdenWas ist eigentlich nötig?Parametrisierung?Initialisierung?
auf absehbare Zeit nicht möglichAnsätze für einen kleines Hirngebiet,FACETS - Projekt
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
21
Modellierung
• Moderne Rechentechnik ermöglicht die Implementation einzelner, stark ein-geschränkter Teilsysteme
Verschiedene Ebenen (Molekular, Zellen, Zellgruppen,...) Simulation kognitiver Grundfunktionen
• Verwendung von Universalrechnern,Parallelrechnern,spezieller Hardware (Neurochips)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
22
Warum?
Gesichtspunkte beim Arbeiten mit KNN:• Biologie:
Modell möglichst genau am VorbildVerständnis vergrößernRückschlüsse auf noch ungeklärte EigenschaftenAktiv eingreifen (Krankheiten mindern, heilen)
• Technik:Abstrakte Modelle (schnell rechnen) Nutzen der Vorteile zur Lösung technischer Problemstellungen (Lernen, Generalisieren)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
23
Forschung in Magdeburg
• Neurowissenschaften ist SchwerpunktMehrere Sonderforschungsbereiche Bernsteingruppe CBBS
SFB 779: Einfluß von Dopamin auf das Lernen
• Institut für Neurobiologie (IfN)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
24
Technische Netze
System zur Informationsverarbeitung• lernfähig: Funktion nicht explizit vorgeben, sondern nach Beispielen
lernen • fehlertolerant: Störungen werden unterdrückt• generalisierend: Ähnliche Beispiele werden erkannt
Künstliches Neuronales Netz (KNN)
Lernverfahren
KNNEingänge Ausgänge
X Y
Beispiele
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
25
Technische Netzwerke
• Breite AnwendungsgebieteMustererkennung,Signalverarbeitung,Regelungstechnik,Vorhersage,...
• Akzeptanz durch konkrete Realisierungentechnischer Art: z.B. Robotersteuerung,nichttechnischer Art: z.B. Vorhersage von Börsenkursen...
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
26
2. Mehrschicht-Perzeptron
2.1 Das Neuron als Grundbaustein
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
27
Biologisches Neuron
Eingang
Ausgang
Axon
Soma
Mikroskopbild einer Nervenzelle
Dendriten
Synapsen
passive Weiterleitung
Kodierung
Impuls-weiterleitung
tImpulsfolge
tImpulsfolge
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
28
Technisches Neuron
x1
xn
x3
x2 y
Eing
änge
Ausgang
n*
j jj 1
y x w=
= ∑( )*yfy =
Eingangsbereich• Zusammenfassung Eingänge
Aktivität
• Wichten der Eingänge
Kodierung des Ausgangs• Vereinfachung: keine Impulse • Umsetzung der Aktivität in einen
Ausgangswert
Transferfunktion(z.B. Schwellwertfunktion)Gewicht
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
29
Technisches Neuron
x1
xn
x3
x2
w1
w2
w3
wn
x0=1
w0(i)
y∑
TransferfunktionSummation
Eingänge Gewichte Bias (Offset)
Ausgang
Θ+= ∑=
n
jjjwxy
1
* ( )*yfy =Schwelle
00wx=Θ
∑=
=n
jjjwxy
0
*
Eingangsbereich: Ausgangsbereich:
Transferfunktion(z.B. Schwellwertfunktion)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
30
Transferfunktionen(gebräuchliche Beispiele)
y*
ySigmoid
y*
yLinear
*yay ⋅=
*
11
yey
−+=
Schwelle
⎩⎨⎧
<−≥
=0101
*
*
ywennywenn
y
y*
y1
-1
y*
yHyperbolischer Tangens
11
2)tanh(
*2
*
−+
=
=
− yey
yy
-1
1
1(Logistische Funktion)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
31
Technisches NeuronTraining
w1 Summation x1
xn
x3
x2w2
w3
wnw0
(i)
y∑
Transferfunktion
Eingänge
Ausgang
( )wx,,, sollwertyfwj =Δ
Lernverfahreny
Sollwert
• Sollwerte -> Lernbeispiele
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
32
Anwendungen eines Neuron
• Neuron als Klassifikator • Neuron zur Koordinatentransformation • Neuron als Filter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
33
Klassifikation
• Klassifikation:Einteilung von Objekten anhand ihrer Eigenschaften in Objektklassen
• Eigenschaften des Objekts:Eingänge des Neuron
• Objektklassekodiert im Ausgangswert des Neurons
• Beispiel:Klassifizierung von Zahlen in positiv, negativ
10-53
3257
-8
x y 1-11111
-1
1 1 0= +
=
*
*
y x w w
y sig( y )
1
0
10
==
ww
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
34
Technisches NeuronAnwendung als Klassifikator
Beispiel: ein Neuron mit zwei Eingängen
x1
x2
w1
w2
x0=1 w0(i)
y∑
Eingänge
Ausgang
( )02211 wwxwxfy ++=
Umstellen nach x2 :2x
( ) 021
01122 ≠+−−= − wyfwwxwx
( )2
1
2
01
2
12 w
yfwwx
wwx
−
+−−=
1x
0* =y(Geradengleichung)
(Alternativ nach x1 umstellen )
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
35
Technisches NeuronAnwendung2
Neuronen mit mehr Eingängen
1x
( ) 0=yf
3x2x
Ebene (3D) oder Hyperebene
• Einzelneuron kann Eingangsdatenraum in zwei Teile teilen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
36
Technisches NeuronAnwendung als Klassifikator
x1
x2y
Bias
x y
Bias
xy<0 y>0
2x
1x
0* =y
y<0y>0
x1
x2 y
Biasx3
1x
3x2x
0* =y0* =y
y<0
y>0
Eindimensional Zweidimensional Dreidimensional
PunktGerade Ebene
> 3D Hyperebene
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
37
Technisches NeuronBeispiel OR
Logische Verknüpfungen (OR)2x
2
01
2
12 w
wxwwx −−=
1xx1
x2yOR
x1 x2 y y*0 0 00 1 11 0 11 1 1
⎩⎨⎧
<≥
=0001
*
*
ywennywenn
y
1
1
= 1= 0
5.01
=−=
bm
y* = 0y* < 0
y* > 0
1,1
!0,01
21
212
1
2
1
==
>>−=−
=−
ww
wwww
mww
Berechnung der Gewichte
5.0
15.0
0
22
0
2
0
−=
==−
=−
w
www
bww
bmxx += 12
11
-0.5
x1 x2 y y*0 0 00 11 01 1
-0.50.5
0.51.5
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
38
Technisches NeuronBeispiel NOR
Logische Verknüpfungen (NOR)2x
2
01
2
12 w
wxwwx −−=
1xx1
x2y
NOR
x1 x2 y y*0 0 10 1 01 0 01 1 0
⎩⎨⎧
<≥
=0001
*
*
ywennywenn
y
1
1
= 1= 0
5.01
=−=
bm
y* = 0
y* < 0
y* > 0
1,1
!0,01
21
212
1
2
1
−=−=
<<−=−
=−
ww
wwww
mww
Berechnung der Gewichte
5.0
15.0
0
22
0
2
0
=
−==−
=−
w
www
bww
bmxx += 12
-1-1
0.5
x1 x2 y y*0 00 11 01 1
0.5-0.5
-0.5-1.5
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
39
Technisches NeuronBeispiel AND
Logische Verknüpfungen (AND)2x
2
01
2
12 w
wxwwx −−=
1xx1
x2y
AND
x1 x2 y y*0 0 00 1 01 0 01 1 1
⎩⎨⎧
<≥
=0001
*
*
ywennywenn
y
1
1
= 1= 0
5.11
=−=
bm
y* = 0y* < 0
y* > 0
1,1
!0,01
21
212
1
2
1
==
>>−=−
=−
ww
wwww
mww
Berechnung der Gewichte
5.1
15.1
0
22
0
2
0
−=
==−
=−
w
www
bww
bmxx += 12
11
-1.5
x1 x2 y y*0 0 00 11 01 1 1
-1.5-0.5
-0.50.5
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
40
Technisches NeuronBeispiel NAND
Logische Verknüpfungen (NAND)2x
2
01
2
12 w
wxwwx −−=
1xx1
x2y
AND
x1 x2 y y*0 0 10 1 11 0 11 1 0
⎩⎨⎧
<≥
=0001
*
*
ywennywenn
y
1
1
= 1= 0
5.11
=−=
bm
y* = 0
y* < 0y* > 0
1,1
!0,01
21
212
1
2
1
−=−=
<<−=−
=−
ww
wwww
mww
Berechnung der Gewichte
5.1
15.1
0
22
0
2
0
=
−==−
=−
w
www
bww
bmxx += 12
-1-1
1.5
x1 x2 y y*0 00 11 01 1
1.50.5
0.5-0.5
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
41
Technisches NeuronBeispiel XOR
Logische Verknüpfungen (XOR)2x
1x
x1 x2 y0 0 00 1 11 0 11 1 0
1
1
= 1= 0
Keine Trennung mit einer Gerade möglich !
x1 x2 y0 00 11 01 1
XOR - Problem
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
42
Technisches NeuronBeispiel
Lineare Separierbarkeit
2x
1x
1
1
= 1= 0
y* = 0
y* < 0
y* > 0
Berechnung der Gewichte aus der Geraden
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
43
Anwendungen eines Neuron
• Neuron als Klassifikator
• Neuron zur Koordinatentransformation • Neuron als Filter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
44
Koordinatentransformation
Drehung ins Koordinatensystem y*
2x
1x
1
1
α
*y
( ) ( )1 1 2 2
1 2
*
*
y w x w x
y cos x sin x
= +
= α + α
Neue Koordinate y*
( ) ( )1 2w cos , w sin= α = αGewichte
*y0
z.B. Klassifikation:Winkel so wählen, daß Trennung erreicht wird
Transformation 2D -> 1D
0*y =
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
45
Koordinatentransformation
Drehung ins Koordinatensystem (y1*, y2*)
2x
1x
1
1
α
1*y
( ) ( )1 11 1 2 1 2
1 1 2
*, ,
*
y w x w x
y cos x sin x
= +
= α + α
Neue Koordinaten
( ) ( )( ) ( )
11 2 1
1 2 2 2
, ,
, ,
w cos , w sin
w cos ß , w sin ß
= α = α
= =
Gewichte
0*y =
β
2*y
( ) ( )2 1 2 1 2 2 2
2 1 2
*, ,
*
y w x w x
y cos x sin x
= +
= β + β
11
22
*
*
xcos sinyxsin cosy
⎡ ⎤ α α ⎡ ⎤⎡ ⎤=⎢ ⎥ ⎢ ⎥⎢ ⎥− α α⎣ ⎦ ⎣ ⎦⎣ ⎦
Orthogonale Koordinaten:
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
46
Koordinatentransformation
Verschiebung
2x
1x
1
1
α
*y
( ) ( )1 2*y cos x sin x d= α + α −
Neue Koordinate y*
( ) ( )1 2
0
w cos , w sinw d
= α = α
= −
Gewichte
*yTransformation
0*y =
d
Bias0
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
47
Koordinatentransformation
Skalierung
( ) ( ){ }1 2*y s cos x sin x d= α + α −
Neue Koordinate y*
( ) ( )1 2
0
w s cos , w s sinw s d
= ⋅ α = ⋅ α
= − ⋅
Gewichte
*y
Ohne Skalierung
Skalierungsfaktor
0 1-1
*y
Mit Skalierung
0 1-1
Einfluß auf die Transferfunktion
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
48
Anwendungen eines Neuron
• Neuron als Klassifikator • Neuron zur Koordinatentransformation
• Neuron als Filter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
49
Neuron als Filter
Neuron: Produkt-Summe entspricht linearen FilterFIR-Filter:• ein Neuron pro Ausgang• Gewichte = Filterkoeffizienten• Berechung:
- Filterentwurf- Lernen nach Beispielen
Eingang
Ausgang iy
jw
ix i jx +
1
n
i i j i , jj
y x w+=
= ∑
Neuron i
Anwendung im Auge (Bildverarbeitung):• Kantenerkennung, • Richtung,• Hochpaß, Tiefpaß
• Bildkorrektur
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
50
Neuron als Filter
DatenstromFIR-Filter:Eingang
Ausgangjw
tx
1
n
t t j jj
y x w−=
= ∑NeurontΔ tΔ tΔ tΔ
• ein Neuron + Verzögerungen• Gewichte = Filterkoeffizienten• Berechung:
- Filterentwurf- Lernen nach Beispielen
Anwendung (Signalübertragung):• Hochpaß, Tiefpaß, Bandpaß
• Signalrekonstruktion• adaptives Filter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
51
1. Kapitel(Zusammenfassung)
• Vorbild biologisches Neuron, aber stark vereinfacht• Technisches (formales) Neuron:
mehrere gewichtete EingängeSummation der gewichteten EingängeTransferfunktion (meist nichtlinear)
• Übertragungsfunktion kann durch Anpassung der Gewichte geändert werden
• Anwendung eines einzelnen Neuron:KlassifizierenKoordinatentransformationFilter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
52
2.1 Kapitel(Zusammenfassung)
• KlassifizierenNeuron kann Eingangsdatenraum in zwei Teilräume trennen 1D - Punkt; 2D- Gerade; 3D - Ebene
• KoordinatentransformationNeuron kann neue Koordinaten definierenDrehung, Verschiebung, Streckung
• FilterNeuron realisiert lineares Filter
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
53
2. MLP
2.2Zusammenschalten der Neuronen
zu mehrschichtigen neuronalen Strukturen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
54
Mehrschichtiges neuronales Netz
Abhängig von der Problemstellung:• Anzahl der Schichten• Anzahl der Neuronen pro Schicht
x1
x2
x3
Eingangsschicht Ausgangsschicht
Verdeckte Schicht(en)(Hidden-Layer)
y2
y1
y3
y4
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
55
Verbindungsmodelle
• Vollständige Verbindungen, stochastische Verbindungen
Feedforward, ebenenweise
x1
x2y2
y1
Feedforward mit Shortcut
x1
x2y2
y1
Mit Rückkopplung
x1
x2y2
y1
Laterale Verbindungen
x1
x2y2
y1
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
56
Feedforward MLP
x1
x2
x3
Eingangsschicht Ausgangsschicht
Verdeckte Schicht(en)(Hidden-Layer)
y2
y1
y3
y4 Datenfluss im MLP• Eingabeschicht als Zwischenspeicher• jedes Neuron erhält seine Eingangsdaten von allen Neuronen
der vorigen Schicht• Ausgangsschicht ist Netzausgang
• nur aktive Schichten zählen !
Feedforward Multi-Layer-Perceptron(vorwärtsgerichtetes mehrschichtiges Perzeptron)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
57
Anwendungen Multi-Layer-Perceptron
• MLP als Klassifikator • MLP zur Koordinatentransformation
• MLP zur Approximation von Funktionsverläufen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
58
Beispiel MLP 1
Schicht 1Trennung mit Hilfe von Geraden
Schicht 2Zusammenfassung der Ausgängez.B. mit UND-Verknüpfung:
2x
1x
1
1
= 1= 0
y1* > 0
y2* > 0
x1
x2
y1
y2
z
21 yyz ∧=
Zweischichtiges MLP
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
59
Beispiel MLP 2
Zweischichtiges Netzwerk- Separierung von konvexen Polygonen- Jeder Ausgang kann ein konvexes Polygon separieren- gemeinsame Nutzung der Hiddenneuronen für mehrere
Ausgänge möglich
Zweischichtiges MLP 2
x1
x2
y1
y2
y3
2x
1x
1
1
= 1= 0
y1* > 0
y2* > 0
z
y3* > 0
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
60
XOR
Mehrere Möglichkeiten:• Geraden 90 grad gedreht• andere Ausrichtung
2x
1x
1
1
= 1= 0
y1* > 0
y2* > 0
x1
x2
y1
y2
z
XOR mit drei Neuronen
w1 w2 w0
1 1 -0.511 1 -1.52
-1 -0.53 1
Neuron
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
61
XOR
= 1= 0
x1
x2
y1* > 0
2x
1x
1
1
y z
XOR mit zwei Neuronenw12
w11
w22
w21
w32
1. Berechnung von y:
21 xxy ∨=
2. Berechnung von z:( )1 2z x x y= ∨ ∧
2x
1x
y0011
1101
1110
0100
zyx2x1
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
62
Beispiel MLP 3
Dreischichtiges Netzwerk- Separierung auch von konkaven Polygonen und
mehreren Gebieten (beliebiger Form)- Ausreichend für alle gängigen Klassifikationsaufgaben- nur Spezialanwendungen benötigen mehr Schichten- u.U. Einsparung von Neuronen bei mehr Schichten
möglich
Dreischichtiges MLP2x
1x
x1
x2x3
y2
y1
y3
y4
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
63
Anwendungen Multi-Layer-Perceptron
• MLP als Klassifikator
• MLP zur Koordinatentransformation • MLP zur Approximation von Funktionsverläufen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
64
Koordinatentransformation
x1
x2
y1
y2
w11w12
w10
w21
w22 w20
Zwischenabbildung nach einer Schicht
20222121*2
10212111*1
wwxwxy
wwxwxy
++=
++=
⎥⎦
⎤⎢⎣
⎡+⎥
⎦
⎤⎢⎣
⎡⎥⎦
⎤⎢⎣
⎡=⎥
⎦
⎤⎢⎣
⎡
20
10
2
1
2212
2111*2
*1
ww
xx
wwww
yy
Matrixschreibweise:
Gleichungen:
1011
2022
*
*
wxcos sinywxsin cosy
⎡ ⎤ α α ⎡ ⎤⎡ ⎤⎡ ⎤= +⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥− α α⎣ ⎦ ⎣ ⎦ ⎣ ⎦⎣ ⎦
Drehung und Verschiebung:
2x
1x
y2
y1
w10w20 α
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
65
Encoder - Decoder
Encoder
Eingang
Decoder
Ausgang
• Prinzip: Drehung in ein Koordinatensystem, in dem man ohne Informationsverlust Dimensionen weg lassen kann.
• redundante Informationen werden unterdrückt (Abhängig von Daten)• Dimensionsreduktion• Hauptachsentransformation• Rauschunterdrückung
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
66
Anwendungen Multi-Layer-Perceptron
• MLP als Klassifikator • MLP zur Koordinatentransformation
• MLP zur Approximation von Funktionsverläufen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
67
MLP zur Approximation von Funktionsverläufen
• Prinzip:Funktion mit Transferfunktionen der Neuronen (Basisfunktionen) zusammensetzen
• Aufbau:2 Schichten
x1
y1
y2
y3
z
Zwischenschicht(nichtlineare TF)
Ausgang(lineare TF)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
68
MLP zur Approximation von Funktionsverläufen
• Zwischenschichtjedes Neuron erzeugt eine angepaßte Basisfunktion (siehe Drehung)Gewichte: Richtung und Skalierung Bias: Verschiebung
• Ausgangsschicht: Basisfunktionen werden gewichtet zusammengefaßt
101* wxwy kk += *
11
yey
−+=
∑=
+=n
kkk wywz
1202
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
69
MLP zur Approximation von Funktionsverläufen
Beispiel:
(Bildschirmfoto Java Applet Funktion)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
70
2.2 Kapitel(Zusammenfassung)
• Neuronale Netze sind aus einzelnen Neuronen aufgebaut
• Mehrere Neuronen sind in mehreren Schichten angeordnet
• Schichten bilden eine Hierarchie bezüglich des Datenflusses (Zwischenabbildung der Eingangsdaten)
• Neuronen einer Schicht erhalten (in der Regel) den selben Eingangsvektor
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
71
2.2 Kapitel(Zusammenfassung)
• Durch die Zusammenschaltung der Neuronen wird eine hohe Komplexität des Netzwerkes erreicht
• Durch unterschiedliche Anordnungen kann ein unterschiedliches Grundverhalten des Netzwerkes eingestellt werden
• Die genaue Anpassung des Grundverhaltens wird durch die Veränderung der Gewichte während des Lernens durchgeführt
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
72
2.3 Lernvorgänge
Lernvorgänge
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
73
Lernvorgang
Ziel:Netz lernt die gestellte Aufgabe weitestgehend selbstständig aus
Beispielen
KNNx1x2
xn
y1y2
ym
... ...
LernverfahrenBeispiele
Mögliche Änderungen (freie Parameter):
• Verbindungsstärke (Gewichte)• Hinzufügen oder Löschen von Verbindungen• Hinzufügen oder Löschen von Neuronen (auch ganze Schichten)• Modifikation des Neuronenmodells
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
74
Unterscheidung der Lernverfahren
• Überwachtes LernenBeispiele mit Sollergebnissen
• Unüberwachtes LernenNur Beispieldaten ohne Sollergebnisse
• Bestärkendes LernenBeispieldaten und Bewertung der Ergebnisse
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
75
Überwachtes Lernen
Überwachtes Lernen (Lernen mit Lehrer, Supervised learning)
.
KNNx y
Lernverfahren
Eingangs-daten
ysollZieldaten
Trainingsbeispiele: bestehen aus Eingangs- und zugehörigen Zieldaten
Lernalgorithmus: versucht Differenz zwischen tatsächlicher und gewünschter Reaktion durch Änderung der Eigenschaften zu Minimieren
Beispielnetzwerk: Multi-Layer-Perceptron mit Backpropagation
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
76
Überwachte Klassifikation(Lernen mit Lehrer)
Anwendung:• ähnliche (untrainierte) Daten werden
richtig Klassifiziert
Klassifizierte Beispieldaten (Lern-, Trainingsdaten):K1, K2 und K3
Merkmal 2
Merkmal 1
K2
K1
K3
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
77
Unüberwachtes Lernen
Unüberwachtes Lernen (Lernen ohne Lehrer, Unsupervised learning)
Keine direkte Vorgabe
von Zieldaten !
KNNx y
Lernverfahrenysoll
Eingangs-daten
•Trainingsbeispiele: bestehen nur aus Eingangsdaten.• Lernalgorithmus: Daten mit ähnlichen Signaleigenschaften
werden zu Gruppen zusammengefaßt• Selbstlernendes System
• Basiert auf den inneren Eigenschaften der Trainingsdaten
• Beispielnetzwerk: Selbstorganisierende Karten
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
78
Unüberwachte Klassifikation(Lernen ohne Lehrer)
Merkmal 2
Merkmal 1Klassengrenzen sind a-priori nicht vorhanden!• gesucht Klassifizierung (z.B. zur Analyse, Datenreduktion)
(hochdimensionale Datensätze unübersichtlich)
Bilden von Klassen anhand der Signalähnlichkeiten:
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
79
Bestärkendes Lernen
Bestärkendes Lernen (reinforcement learning)
KNNx y
Lernverfahren
Eingangs-daten
Bewertung
Trainingsbeispiele: bestehen aus Eingangsdaten, die Ergebnisse werden bewertetLernalgorithmus: versucht Bewertung zu Verbessern• langsam, aber biologisch plausibel
Lehrer
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
80
Auswahl des Lenverfahrens
• Das Vorhandensein von Zieldaten für jedes Beispiel entscheidet über die Auswahl des Lernverfahrens
• Innerhalb jedes Lernverfahrens stehen verschiedene Netzwerktypen zur Auswahl
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
81
Gütekriterium(Lernen mit Lehrer)
Gütekriterium beschreibt den Unterschied zwischen Soll- und Istwert für den aktuell angelegten Eingangsvektor.
Q(s) = Q(s)(y1 ...ym , y1soll ...ymsoll)
KNN... ...
...
( )sx1( )sx2
( )snx
( )sy1( )sy2
( )smy
( )ssolly1
( )ssolly2
( )ssollmyV
ergl
eich
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
82
Quadratisches Fehlermaß(Lernen mit Lehrer)
Bei Verwendung eines quadratischen Fehlermaßes:
Q(s) = (y1 - y1soll )2 + (y2 - y2soll )2 + ... + (ym – ymsoll )2
KNN... ...
...
( )sx1( )sx2
( )snx
( )sy1( )sy2
( )smy
( )ssolly1
( )ssolly2
( )ssollmyV
ergl
eich
Lernalgorithmus versucht durch das Verstellen der freien Parameter (z.B. Gewichte) den Fehler für die Lerndaten zu minimieren.
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
83
Anlegen der Beispiele(Lernen mit Lehrer)
Dem Netz werden r Paare Lerndaten angeboten:
1. Beispiel x1(1) ... xn
(1) y1soll(1) ... ymsoll
(1)
2. Beispiel x1(2) ... xn
(2) y1soll(2) ... ymsoll
(2)
r. Beispiel x1(r) ... xn
(r) y1soll(r) ... ymsoll
(r)
KNN... ......
( )sx1( )sx2
( )snx
( )sy1( )sy2
( )smy
( )ssolly1
( )ssolly2
( )ssollmyV
ergl
eich
(s = 1 ... r)Ein Durchlauf (alle s) -> Epoche
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
84
Ziel des Anlernens(Lernen mit Lehrer)
Ziel des Trainings:
Q = Q(s) => Min.Σ(s)
d.h., die realen y1 (s) ... ym
(s) sollen weitgehend den Solldaten y1soll
(s) ... ymsoll(s) entsprechen.
KNN... ...
...
( )sx1( )sx2
( )snx
( )sy1( )sy2
( )smy
( )ssolly1
( )ssolly2
( )ssollmyV
ergl
eich
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
85
Gradientenverfahren (Gradientenabstieg)
( )
( )
( )
( )
( )
( )
( ) ⎥⎥⎥⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢⎢⎢⎢
⎣
⎡
=∇
Ωk
k
k
k
k
k
k
wQ
wQwQ
Q
∂∂
∂∂∂∂
2
1
( ) ( ) ( ) ( )kkkk dww γ+=+1
( ) ( )d k kQ= −∇
Schrittweite(Lernkoeffizient)
Richtung
Parameter:• Startwerte• Schrittweite
Schrittweise Veränderung der Gewichte
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
86
Minimierung des Fehlers durch Gradientenabstieg
Q
w
Eindimensionaler Schnittdurch eine stilisierte
FehleroberflächeQstart
wstart
Qi
wi
Qi+1
wi+1
wi+1=
Neues Gewicht
wi+1= wi
Altes Gewicht
wi+1= wi - ∂Q∂w
Gradient von Qbezüglich w
wi+1= wi - γ∂Q∂w
Lernkoeffizient
wi+1= wi - γ∂Q∂w
Qmin
wmin
Q ≤ Qsoll
Abbruch des Lernens
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
87
GradientenabstiegZweidimensionaler Fall
w2
w1
Q = const.( )kQ∇
( )kwΔ
( )kQ m in→
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
88
Herleitung derGewichtsänderung
• Gewünschter Lernvorgangdw in Richtung der maximalen Abnahme von Qdw ~ - gradT Qdw = - γ ⋅ gradT Q
• Für beliebige Anzahl von Gewichten giltw i+1 = w i - γ ⋅ gradT Q
w1w2
wn i+1
=
w1w2
wn i
- γ ⋅
∂Q∂w1∂Q∂w2
∂Q∂wn
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
89
Probleme des Gradientenabstiegs
• Probleme des Gradientenabstiegsoft sehr viele Gewichte (hohe Dimension)Auftreten von Nebenminima, PlateausKonvergenzprobleme (Schrittweite)
Q
w
Eindimensionaler Schnittdurch eine
FehleroberflächeAbsolutes Minimum
Neben-minimum Plateau
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
90
Probleme des Gradientenabstiegs
• Schrittweitenanpassung
( ) ( ) ( ) ( )kkkk dww γ+=+1
( ) ( ) 999.0;1 ==+ ααγγ kk
!Schrittweite sollte nicht 0 werden.
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
91
Beispiel: Gradientenabstieg mit einem Neuron
x1
x2
x1 x2
y
%Trainings-Datensatz
% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0
Initialisieren der Gewichte (mit zufälligen Werten)w1=0.034; w2=0.092
0.034 0.092
∂Q∂w2
= ?∂Q∂w1
= ?
Q = (y - ysoll)2 = (w1x1 + w2x2 - ysoll)2
∂Q∂w1
= 2(w1x1 + w2x2 - ysoll) x1
= 2(w1x1 + w2x2 - ysoll) x2∂Q∂w2
Lineare Transferfunktion
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
92
x1
x2
1 2
0.034 0.092
%Trainings-Datensatz
% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0
Beispiel: Gradientenabstieg mit einem Neuron
∂Q∂w1
= 2⋅(0.034 + 0.184 - 1)⋅1
= -1.564
∂Q∂w2
= 2⋅(0.034 + 0.184 - 1)⋅2
= -3.128
wi+1 = - 0.2⋅
= + =
0.0340.092
-1.564-3.128
0.0340.092
0.3470.718
0.3130.626
γ =0.2
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
93
Beispiel: Gradientenabstieg mit einem Neuron
x1
x2
-1 1
0.347 0.718
%Trainings-Datensatz
% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0
∂Q∂w1
= 2⋅(-0.347+0.718-0)⋅(-1)
= -0.742
∂Q∂w2
= 2⋅(-0.347+0.718-0)⋅1
= 0.742
wi+1 = - 0.2⋅
= - =
0.3470.718
-0.7420.742
0.3470.718
0.4950.570
-0.150.148
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
94
Beispiel: Gradientenabstieg mit einem Neuron
x1
x2
2 1
0.495 0.570
%Trainings-Datensatz
% x1 x2 ysoll1 2 1 -1 1 02 1 11 -1 0
• Weitere Schritte bis zur Konvergenz
• Wiederholtes Präsentieren der Beispiele in wechselnder Reihenfolge
• Lernkoeffizient γ im Ver-lauf des Trainings verkleinern
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
95
Ablauf Lernvorgang
• Trainingsdaten mehrmals präsentierenMehrere Epochen
• Epoche: alle Trainingsdaten einmal präsentiert
• Gewichtsanpassung (Möglichkeiten)Einmal pro Epoche -> Batch-BetriebNach jedem Trainingsdatensatz -> Online-Betrieb
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
96
Ablauf Lernvorgang
• Batch: Gewichtsänderungen werden akkumuliert und nur einmal pro Epoche ausgeführtStabil, aber u.U. langsamVorteil bei der Parallelisierung (jeder Trainingsdatensatz bildet eigenen Prozeß)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
97
Ablauf Lernvorgang
• Online:Gewichtsupdate nach jedem Trainingsdatensatzu.U. schneller als Batch Gefahr der Zyklenbildung (Gewicht ändert sich zyklisch hin und her)Abhilfe: Ändern der Reihenfolge der Trainingsdatensätze in jeder Epoche (zufällige Reihenfolge)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
98
Ablauf Lernvorgang
• Übertrainieren, Auswendiglernen:Möglich bei Netz mit zu vielen Neuronen/SchichtenKeine Generalisierung (neue untrainierte Daten werden nicht richtig berechnet)Abhilfe: Testen des Netzes mit untrainierten bekannten Daten -> ggf. Netz ändernTeilung der vorhandenen Daten in:
» Trainingsdaten (etwa 2/3 aller Daten)» Testdaten (etwa 1/3 aller Daten, zufällige Auswahl)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
99
2.3 Kapitel(Zusammenfassung)
• Verwendung eines Gütekriteriumsbasierend auf
» Eingangsdaten» Ausgangsdaten» Solldaten» Gewichten des Netzes
zur Bestimmung des Fehlers zwischen tatsächlichem Zustand und Sollzustand des Netzeszur Minimierung des o.g. Fehlers durch Veränderung (Optimierung) der Gewichte (Training)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
100
2.3 Kapitel(Zusammenfassung)
• Verwendung des GradientenabstiegsverfahrensAnteil jedes einzelnen Gewichts am Gesamt-fehler wird durch partielle Ableitung bestimmtZiel ist ein möglichst schnelles Erreichen eines FehlerminimumsProbleme entstehen durch
» Vielzahl der zu optimierenden Parameter » lokale Nebenminima der dann hochdimensionalen
FehleroberflächeBasis für viele unterschiedliche Lernverfahren (u.a. Backpropagation)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
101
2.4 Kapitel
2.4Backpropagation Algorithmus
(Fehlerrückvermittlung)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
102
Zielstellung
Betrachtung des gesamten Netzwerkes als Abbildungsfunktion
deren freie Parameter beeinflussen das GesamtverhaltenZiel: Einstellung dieser Parameter, um die Abweichung (Fehler) zwischen der
» tatsächlichen und der» gewünschten Abbildungsfunktion des Netzwerkes
anhand der Abweichung des» tatsächlichen von dem» gewünschten Ausgangssignal des Netzwerkeszu minimieren
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
103
Lösungsansatz
• Abbildungsfunktion des Netzes ist in der Regel nichtlinear
• Menge der freien Parameter (Gewichte) spannt hochdimensionalen Raum auf
• Fehlerkriterium ist hochdimensionale Funktion über diesem Raum
• Suche nach Minimum der Fehlerfunktion mittels Gradientenabstieg
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
104
Lösungsansatz
• Ausgangspunkt ist in jedem Fall ein mehrschichtiges Netzwerk mit gerichtetem Datenfluß ...
• Ziel des Backpropagation – AlgorithmusBestimmen der Ableitungen des Fehlers (für das aktuelle Trainingsbeispiel) nach den einzelnen Gewichten in einem mehrschichtigen Netzwerk
• Backpropagation hat 2 Phasen:Vorwärtsvermittlung der DatenRückwärtsvermittlung des Fehlers
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
105
Netzwerk mit gerichteten Datenfluß
x1
x2x3
y2
y1
y3
y4
z.B. Vorwärtsgerichtetes Multilayerperzeptron
Datenfluß
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
106
1. Phase Vorwärtsvermittlung
x1
x2x3
y2
y1
y3
y4
Bei
spie
l
Solld
aten
Erge
bnis
Fehler1.1 Aktivierung der Eingangs schicht mit einem aus dem
Datensatz ausgewählten Trainingsbeispiel1.2 Schrittweise Ermittlung der Aktivitäten der Neuronen der verdeckten
Schicht(en) und der Ausgangsschicht 1.3 Ermittlung des Gesamtfehlers des Netzwerkes anhand der Ausgangs-
und Solldaten
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
107
2. PhaseRückwärtsvermittlung
x1
x2x3
y2
y1
y3
y4Bei
spie
l
Solld
aten
Fehl
er
Fehlerrückvermittlung
2.1 Ermittlung des Fehlermaßes für die Neuronen der Ausgangsschicht2.2 Rückschreitend schichtweise Ermittlung des Fehlermaßes der
Neuronen der verdeckten Schicht(en)2.3 Änderung der Gewichte der Neuronen der Ausgangsschicht und der
verdeckten Schicht(en) anhand ihrer Fehleranteile
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
108
Anforderungen an die Transferfunktion
• Transferfunktiondient in diesem Fall nicht nur der Berechnung der Neuronenaktivität in der Phase der Vorwärtsvermittlung, sondern auch der Rückvermittlung der partiellen Fehler
• Anforderungen an die Transferfunktion:im gesamten Bereich stetig und (analytisch) differenzierbarstreng monoton steigendBeschränktheit im Wertebereich (z.B. auf [0; 1])möglichst in der Mitte des Wertebereiches einen Wendepunkt
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
109
VerwendeteTransferfunktionen
• Die Klasse der semi-linearen Funktionenvereinigen die Eigenschaften von
linearen Funktionen bezüglich der DifferenzierbarkeitSchwellwertfunktionen bezüglich der Separationsfähigkeit
• Beispiele:Sinus (ggf. Beschränkung des Definitions-bereiches auf eine Periode)Tangens hyperbolicusSigmoid
am weitesten verbreitet}
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
110
Beispiele gebräuchlicherTransferfunktionen
Y*
Y
Sigmoid
Y = 1 + e-Y*
1
Y*
Y
Tangens hyperbolicus
Y = e-Y*
e-Y*eY*
eY*
_
+
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
111
Beispiele gebräuchlicherTransferfunktionen
Verwendung in derweiteren Herleitung
Y*
Y
Sigmoid
Y = 1 + e-Y*
1
Y*
Y
Tangens hyperbolicus
Y = e-Y*
e-Y*eY*
eY*
_
+
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
112
Ableitung der Transferfunktion
( ) 11 pp
e−σ =+
( )21
1p
pe
p e−
−
∂σ′σ = =∂ + 1 1 pe−= +
σ
1 1pe− = −σ
Hilfsrechnung
Funktion:
Ableitung:
( )22
11 1 11
− σ⎛ ⎞′σ = − = σ⎜ ⎟σ σ⎝ ⎠⎛ ⎞⎜ ⎟σ⎝ ⎠
Einsetzen:
( )1′σ = σ − σ
( ) 111
1 −−− +=
+p
p ee
Innere * äußere Ableitung
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
113
Berechnung der Ausgangsschicht
Neuron der Ausgangsschicht
iy i solly
Neuron i1iw
2iw
1s
2s
jsijw
... ...
i j ijj
y f s w⎛ ⎞
= ⎜ ⎟⎝ ⎠∑
( )2
i i i sollQ y y= −
Ausgang:
Fehler:
( )212
ii i soll
ij
Q y yw
∂= −
∂
gesucht:
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
114
HerleitungAusgangsschicht
( )212
ii i soll
ij
Q y yw
∂= −
∂( ) i
i sollij ij
yQ y yw w
∂∂= −
∂ ∂
äußere Ableitung( )*iy y= σ *
j ijj
y s w= ∑
( )*ij
ij
y y sw
∂ ′= σ∂
*
jij
y sw
∂=
∂
*i i
*ij ij
y y yw y w
∂ ∂ ∂=
∂ ∂ ∂
Transferfunktion:
mit
Erweitern:
( ) ( )** i
* *
y yyy y
∂σ ∂′σ = =∂ ∂
( ) ( )( )1* *ij
ij
y y y sw
∂= σ − σ
∂
( )1′σ = σ − σ
( )*iy y= σ
( )1ii i j
ij
y y y sw
∂= −
∂
gesucht
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
115
HerleitungAusgangsschicht
( )1ii i j
ij
y y y sw
∂= −
∂Ergebnis:
( ) ii soll
ij ij
yQ y yw w
∂∂= −
∂ ∂
( ) ( )1i soll i i jij
Q y y y y sw
∂= − −
∂
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
116
Herleitung Verborgende Schicht
( ) ( )1i soll i i jij
Q y y y y sw
∂= − −
∂Ausgangsschicht:
Neuron i1uiw
2uiw
1us
2us
ujs
uijw
... ...
1uis +
Rückvermittelter Fehler
11
uku
k k
Q ww
++
∂∂∑
11uw +
12uw +
1ukw +
Zwischenschicht:Zwischenschicht:
( )1 1 11 1u u u u
k i i ju ukij k
Q Q w s s sw w
+ + ++
⎛ ⎞∂ ∂= −⎜ ⎟∂ ∂⎝ ⎠
∑
Ableitungen:
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
117
Erweiterungen
• Basierend auf dem Standard-Algorithmus sind viele Ideen zur Verbesserung entstanden
• Ansatzpunkte sind dabei:Beschleunigung der Konvergenz
» Modifikation oder Ersatz des klassischen Gradientenabstiegsverfahrens (Momentum-Term, Quick Prob)
» kumulative Gewichtsänderungen
Vermeidung des Problems der lokaler Minima» stochastische Ansätze» Gewichte “schütteln”
numerisch verbesserte Implementationen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
118
2.4. Kapitel (Zusammenfassung)
• Mehrschichtiges Feed-Forward Netz mit gerichtetem Datenfluss
• Überwachtes Lernen (Supervised Training)• Verwendung der Delta-Regel und des
Gradientenabstiegs• Minimierung des quadratischen Abstandes
zwischen Soll- u. Istwerten bezüglich aller Paare von Ein- / Ausgangsvektoren
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
119
2.4. Kapitel (Zusammenfassung)
• Netzwerk mit der weitesten Verbreitung unter den überwacht trainierten Netzen
• Konvergenzprobleme bei Auftreten von mehreren Minima (s.a. Gradientenabstieg)
• Viele Erweiterungen und Modifikationen des originalen Algorithmus
• Zahlreiche realisierte Anwendungen durch universelle Einsetzbarkeit
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
120
3. Kapitel
3.Selbstorganisierende Karten
(Kohonen Karten,Kohonen Maps,
Self organizing map - SOM)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
121
Sensorische Karten
• Ausgangspunkt: Sensorische und motorische Karten im Gehirn
• Hochdimensionale Daten werden auf zweidimensionale Karten abgebildet
• Nachbarschaftsbeziehungen bleiben bestehen (Topologieerhaltend)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
122
Teuvo Kohonen(Finnland)
T. Kohonen, Self-Organizing Maps Springer Series in Information Sciences, Vol. 30, Springer, Berlin, Heidelberg, New York, 1995, 1997, 2001. Third Extended Edition, 501pages. ISBN 3-540-67921-9, ISSN 0720-678X
• SOM entwickelt von Teuvo Kohonen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
123
Unüberwachtes Lernen
Unüberwachtes Lernen (Lernen ohne Lehrer, Unsupervised learning)
Ein Trainingsbeispiel besteht nur aus Eingangsdaten.
Keine direkte Vorgabe
von Zieldaten !
KNNx y
Lernverfahrenysoll
Eingangs-daten
• Selbstlernendes System
• Basiert auf den inneren Eigenschaften der Trainingsdaten
• Daten mit ähnlichen Signaleigenschaften werden zu Gruppen zusammengefaßt
•Beispielnetzwerk: Selbstorganisierende Karten
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
124
Zielstellung
• Netzwerktraining ohne explizite Vorgabe eines Trainingsziels
keine Verwendung von Zielvektoren für die Ausgangsschicht
» z.B. Backpropagationin vielen Anwendungen sind Zielvektoren nicht verfügbar
» z.B. Klassifikation bei unbekannten Klassengrenzen
• Lernen ohne Lehrer (unsupervised training)• Verwendung der inneren Eigenschaften der
Daten
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
125
Lösungsansatz
• Vergleich des exemplarisch abgetasteten Eingangsdatenraumes (Beispiele des Trainingsdatensatzes) mit einem Satz von Prototypen (Gewichte der Neuronen)
• Anpassung der Prototypen an die inneren Eigenschaften des Eingangsdatenraumes
• Zuordnung von Eingangssignalen mit gleichen oder ähnlichen Eigenschaften zum gleichen Prototyp
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
126
Lösungsansatz
• Selbstlernendes System• Modellierung des meist hochdimensionalen
Eingangsdatenraumes durch Projektion auf eine zweidimensionale Fläche (Karte von Neuronen)
DatenreduktionAbstraktion auf wesentliche und markante Eigenschaften der EingangsdatenUnterdrückung von Einzelheiten und im Datensatz unterrepräsentierten Eigenschaften
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
127
Aufbau einer Selbstorganisierenden Karte
x1
x2
x3
Eingangsschicht
Zweidimensionale Kohonen Schicht
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
128
Selbstorganisierende Karte
• Anzahl der Neuronen in der Eingangsschicht:Entspricht Dimension des Eingangsdatenraumes
• Anzahl der Neuronen in der Kohonenschicht:Entspricht der Anzahl der erwarteten oder gewünschten Klassen
• Verbindungen:Jedes Neuron der Eingangsdatenschicht ist mit jedem Neuron der Kohonenschicht verbundenKeine Verbindung der Neuronen in der Kohonenschicht untereinander
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
129
Neuronenmodell
• Neuronenmodell unterscheidet sich vom klassischen technischen Neuron
• Euklidischer Abstandsmaß (ohne Wurzel) zwischen Eingangsdaten und Gewichten
• Bestimmen des Neurons mit dem kleinsten Abstand zum angelegten Eingangsdatensatz (Ausgang = 1, sonst 0)
x1
xn
x3
x2
w1
w2
w3
wn
y( )∑=
−=n
iiijj xwy
1
2*
Eingänge Gewichte
Ausgang
( )⎩⎨⎧ ∀=
=sonst
kyyy kjj 0
min1 **Neuron j
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
130
Neuronenmodell
• Die Gewichte jedes Neuron lassen sich als Position des Neurons im Eingangsdatenraum interpretieren
• Gewinnerneuron ist das Neuron, das dem angelegten Datensatz am nächsten ist.
2x
1x
1
1
Beispiel:• Eingangsdatenraum mit 2 Dimensionen• Jeder Eingangsdatensatz (blau) wird
dem nächstliegenden Neuron zugeordnet (klassifiziert)
Voronoi –Regionen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
131
Anlernen
• Datensätze einzeln anlegen, Gewinnerneuron bestimmen
• Ändern der Gewichte = Verschieben der Neurone im Datenraum
• Nachbarschaftsbeziehungen in der Karte berücksichtigen
• Gewinnerneuron und Nachbarn in Richtung des aktuellen Datensatzes verschieben
• Schrittweite und Nachbarschaftsbreite beim Lernen anpassen (verringern)
( ) ( ) ( )( )ki
ki
ki wxww −+=+ α1
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
132
Anlernen
• Anlernen nach euklidischen Abstand • Eingangsdaten bei Bedarf normieren• Möglichkeiten zur Normierung:
Minimum, MaximumMittelwert, StandardabweichungA-priori Wissen
• Erweiterung:Wachsende Karte
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
133
3. Kapitel (Zusammenfassung)
• Netzwerk mit je einer eindimensionalen Eingangsschicht und zweidimensionalen Kohonen Schicht
• Anordnung der Neuronen innerhalb der Kohonen Schicht ist wesentlich
• Positionen der Neuronen im trainierten Zustand der Karte nicht untereinander austauschbar
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
134
3. Kapitel (Zusammenfassung)
• Jedes Neuron der Kohonen Schicht ist mit jedem Neuron der Eingangsschicht über Gewichte verbunden
• Keine direkten Verbindungen mit Signalfluß der Neuronen der Kohonen Schicht untereinander
• Indirekte Verbindung der Neuronen der Kohonen Schicht untereinander durch ihre relative Position zueinander
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
135
5. Kapitel (Zusammenfassung)
• Eingangsdaten (Beispielvektoren) mit ähnlichen Eigenschaften werden durch benachbarte Neuronen repräsentiert
• Vielzahl von Erweiterungen und Modifikationen des originalen Algorithmus
• Weit verbreiteter Typ unter den unüberwacht trainierten Netzen
• Zahlreiche Anwendungen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
136
6. Kapitel
Assoziativspeicher
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
137
Assoziativspeicher
• Informationen werden assoziativ gespeichertInhaltsadressierte Informationsspeicherung
• Gegensatz: Speicherung in einer Liste (RAM)• Speicherkonzept
Information ist über viele Neuronen verteiltsehr robust gegenüber Ausfall eines Teils der NeuronenVerschlechterung des Ergebnisses aber kein “totaler” Ausfallabgelegte Musterpaare (x, y) mit x als Abrufschlüssel (Adresse der Speicherstelle)
• Im Prinzip ist jedes künstliche neuronale Netz ein Assoziativspeicher
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
138
Assoziativspeicher Einteilung
• AutoassoziativspeicherEingabemuster = AusgabemusterAusgabe des ungestörten Musters auch bei gestörten oder unvollständiger EingabeRauschunterdrückung, Musterergänzung
• HeteroassoziativspeicherEingabemuster ≠ AusgabemusterBeliebige Zuordnung von Eingabe zu AusgabemusterKlassifikation, Funktionsapproximation, Vorhersagen
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
139
Linearer Assoziativspeicher
1x 2x nx
nw112w11w1y
2y
my
21w
1nw
22w
2nw
nw2
mnw
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
140
Linearer Assoziativspeicher
Linearer Assoziativspeicher (Korrelations-Matrixmodell)
• Einschichtiges Netz mit linearer Übertragungsfunktion
• Zusammenfassen als Matrixgleichung:
• Bestimmen der Gewichte:Hebb LernregelAusgleichsrechnungAndere Lernverfahren
xy W=
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
141
Hebb - Lernregel
• Kopplung zwischen zwei Neuronen wird immer dann verstärkt, wenn sie gleichzeitig erregt sind:
• Biologisch begründet und nachgewiesen
ax ay bxby
abw
baab yyw α=Δ
)()()1( kab
kab
kab www Δ+=+
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
142
Ausgleichsrechnung
• Klassisches Optimierungsproblem der Ausgleichsrechnung
• Gegeben X, Y gesucht W• Problem für jedes Muster neu lösen, Korrektur über
Lernen• Geringe Zahl von Mustervektoren
Pseudoinverse, „Moore-Penrose“ Inverse
XY W=( ) ( )
( ) ( )
( ) ( ) ⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡
=
...
...
...
21
22
12
21
11
nn yy
yyyy
Y
( ) ( )
( ) ( )
( ) ( ) ⎥⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢⎢⎢
⎣
⎡
=
...
...
...
21
22
12
21
11
nn xx
xxxx
X
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
143
Assoziativspeicher mit Rückkopplung
1x
2x
nx
nw112w11w1y
2y
ny
21w
1nw
22w
2nw
nw2
nnw
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
144
Assoziativspeicher mit Rückkopplung
• Ausgänge werden auf Eingänge zurückgekoppelt
• Ergebnis steht erst nach einigen Iterationen fest, Eingangswerte sind die Startwerte
• Beispiel: Hopfield - Modell
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
145
Hopfield - Modell
• Netz mit Rückkopplung, • Autoassoziativ-Speicher, aus den
eingespeicherten Mustern wird das Muster gesucht, daß dem angelegten Muster am ähnlichsten ist. Anwendung: Mustererkennung (Bilderkennung)
• Entwickelt 1982 von John Hopfield, untersuchte magnetische Anomalien in seltenen Erden (Spingläser)
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
146
Hopfield – Modell, Abruf
• Eingegebenes (binäres) Muster als Startwert (Zustand)
• Rückkopplung, Berechnung der AusgabeÜbereinstimmung mit Zustand -> OKUnterschied -> Auswahl eines Neurons -> Änderung des Zustandes
• Wiederholung bis stabiler Zustand erreicht (kein Unterschied mehr)
• Zustand = Ergebnismuster
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
147
Hopfield – Modell, Anlernen
• Cohen/Grossberg-Theorem: Stabiles Netz wenn Bedingungen erfüllt:
Symmetrische GewichteDiagonale in Gewichtsmatrix null
• Anlernen nach Hepp• Ausgleichsrechnung:
Formel zum direkten Berechnen der Gewichte
jiij ww =0=iiw
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
148
7. Kapitel
7.Anwendungen
künstlicher neuronaler Netze- Regelungstechnik -
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
149
Motivation
• Lineare Reglergut entwickeltweit verbreitet
• Nichtlineare Reglerunbefriedigende LösungenSpezialfällemit konventionellen Verfahren schlecht handhabbar
Neue Wege und Lösungen erforderlich
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
150
Neuronale Netze in der Regelungstechnik
• Nutzung der Adaptionsfähigkeit neuronaler Netze
• Grundlegende Anpassung des Reglers an reale Systeme
• Adaptionsmöglichkeit an zeitlich oder örtlich veränderliche Systemparameter
• Einige Eigenschaften bereiten Probleme
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
151
Klassische Methode
x +F
yK
-
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
152
Klassische Methode
F
K
+
-x
y
Prozess(oft kein Modell
vorhanden)
Referenzmodell
-
+ec
ideal:ec → 0
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
153
Beispiel 1 (Erläuterung)
• Verwendung eines überwacht trainierten Netzwerkes
• Grundlegende IdeeNeuronales Netz simuliert das Verhalten des Menschen
» Netz lernt das Verhalten eines “menschlichen Reglers” anhand einer Reihe von beispielhaften Vorgängen
» Übernahme der Regelung durch das Netz nach erfolgreichem Training
» durch trainiertes “Wissen” und die Fähigkeit zu generalisieren agiert das Netz dann selbständig
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
154
Beispiel 1 (Training)
Regelstrecke
x
Stellsignale?Zustandsvektor
!
Neuronales Netz
- +
Vergleich des Verhaltensdes Netzwerkes mit dem
des MenschenAbweichung
zum Einstellen der Gewichte
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
155
Beispiel 1 (Betrieb)
Regelstrecke
Neuronales Netz
x
Stellsignale
Zustandsvektor
Das trainierte neuronale Netz übernimmt die Regelung des Systems.
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
156
Beispiel 2(Erläuterung)
• Direkte inverse Steuerung• Grundlegende Idee
neuronales Netz stellt das inverse Modell dar» Abgleich der Netzwerkparameter, dass die
Regelstrecke und das neuronale Netz zusammen die Übertragungsfunktion ”1” haben
» Einsatzmöglichkeiten durch Invertierbarkeit und Genauigkeit begrenzt
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
157
Beispiel 2(Training)
Regelstrecke
Neuronales Netz
x
Ausgang
-
+
Abweichung zum Einstellen der Gewichte
F
F-1
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
158
Beispiel 2(Betrieb)
Regelstrecke FNeuronales Netz F-1
x
Ausgang
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
159
6. Kapitel(Zusammenfassung)
• Nutzung der Adaptionsfähigkeit künstlicher neuronaler Netze
optimale Charakteristiken bei » komplexen Problemen» Umgebungsvariationen» Variationen der Strecke
• Komplette Simulation durch Modellierung mittels getrennter neuronaler Netze
für die Regelstrecke (Identifikationsmodell)für den Regler
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
160
8. Kapitel
8.Anwendungen
künstlicher neuronaler Netze
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
161
Technische Bereiche
• BildverarbeitungHandschrifterkennung,Gesichtserkennung,Robotersteuerung,Bildinterpretation...
• AkustikSpracherkennungSprachsynthese...
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
162
Technische Bereiche
• Allgemeine SignalverarbeitungReduktion von RauschenKlassifikation von SignalenDatenkompression...
• Steuerungs- u. Regelungstechnik• Optimierung• ...
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
163
Nichttechnische Bereiche
• Wirtschaft und FinanzenAnalyse und Modellierung von Markt- und KundenverhaltenVorhersage von Kursen...
• MeteorologieSimulation und Modellierung von globalen KlimazusammenhängenVorhersage langfristiger klimatischer VeränderungenWettervorhersage
• ...
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
164
Realisierung neuronaler Netze
• Simulation auf sequentiell arbeitenden Rechnern
PersonalcomputerWorkstation
• Simulation auf (paralleler) SpezialhardwareNeurocomputerPipelineprozessoren
• Direkte Implementation in spezielle Schaltkreise
Neurochips
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
165
Zusammenstellung von weiterführender Literatur
Grundlagenliteratur:» R. Rojas: Theorie der neuronalen Netze : Eine
systematische Einführung, Springer, 1996» A. Zell: Simulation neuronaler Netze, Oldenbourg,
1997» R. Brause: Neuronale Netze: Eine Einführung in die
Neuroinformatik, Teubner, 1995Anwendung (oft Beiträge in Fachzeitschriften):
» IEEE-Transactions on Neural Networks» Neural Networks» Tagungsbände» vdi-Berichte
Lehrveranstaltung „Künstliche neuronale Netzwerke“ Andreas Herzog
KNN
166
Thematisch orientierte Weblinks
Spezielle Suchmaschinen für neuronale Netze» http://www.yahoo.com/Science/Engineering/
Electrical_Engineering/Neural_Networks/
Home-Pages von Forschungseinrichtungen» http://www.ewh.ieee.org/tc/nnc/index.html» http://cns-web.bu.edu/INNS/index.html» http://www.cis.hut.fi/research/» http://www.neuro-net.net/
Sonstiges (ftp-Archiv, Diskussionsgruppe)» ftp://ftp.sas.com/pub/neural/FAQ.html#questions» nntp://comp.ai.neural-nets
top related