![Page 1: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/1.jpg)
Ingo Rechenberg
Organisches Rechnen (Organic Computing)
Struktur und Arbeitsweise neuronaler Netzwerke
PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik, Bioinformatik“
![Page 2: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/2.jpg)
Ein „organischer Computer" (OC) ist definiert als ein selbst-organisierendes System, das sich den jeweiligen Umgebungsbedürfnissen dynamisch anpasst. Organische Computersysteme haben sog. „Self-x-Eigenschaften": Sie sind selbst-konfigurierend, selbst-optimierend, selbst-heilend, selbst-erklärend und selbst-schützend.
Organische Computersysteme verhalten sich eher wie intelligente Assistenten als starre Befehlsempfänger. Sie sind flexibel, robust gegenüber (Teil)ausfällen und in der Lage, sich selbst zu optimieren. Der Entwurfsaufwand sinkt, da nicht jede Variante im Voraus programmiert werden muss.
Gesellschaft für Informatik e.V.
![Page 3: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/3.jpg)
Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik
![Page 4: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/4.jpg)
Anwendung neuronaler Netze:
Mustererkennung,
Bildverarbeitung,
Robotik,
Prozessautomatisierung,
Diagnose, Medizin,
Betriebswirtschaft,
Finanzdienstleistungen
Wissensverarbeitung
![Page 5: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/5.jpg)
Natürliches Neuronales Netz
![Page 6: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/6.jpg)
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Künstliches Neuronales Netz
KNN
Neuronales Netz
NN
![Page 7: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/7.jpg)
Eigenheiten einer Nervenzelle
Schwellverhalten des Encoders
Impulsfortleitung im Axon
Zeitverhalten der Synapse
Summiereigenschaft des Zellsomas
Signalgewichtung durch Länge des Dendriten
![Page 8: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/8.jpg)
Soma Encoder
Axon
Dendri
t
PSP PSP > 50mV
Arbeitsweise einer (biologischen) Nervenzelle
![Page 9: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/9.jpg)
Streichung des Schwellverhaltens des Encoders
Neuron 0. OrdnungSpannungshöhe statt Impulse
Streichung des Zeitverhaltens der Synapse
Summiereigenschaft des Zellsomas
Signalgewichtung durch Länge des Dendriten
![Page 10: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/10.jpg)
Neuron 0. Ordnung
(Technische Realisierung)
![Page 11: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/11.jpg)
Neuron 1. OrdnungSpannungshöhe statt Impulse
Streichung des Zeitverhaltens der Synapse
Streichung des Schwellverhaltens des Encoders aufgehoben !
Signalgewichtung durch Länge des Dendriten
Summiereigenschaft des Zellsomas
![Page 12: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/12.jpg)
(Technischen Realisierung)
Neuron 1. Ordnung (a)
UeUa
Ue
Ua
![Page 13: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/13.jpg)
(Technischen Realisierung)
Neuron 1. Ordnung (b)
UeUa
Ua
Ue
![Page 14: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/14.jpg)
Neuron 2. Ordnung
Impulsfortleitung
Spannungs-Frequenzwandler mit Schwelle
Verzögerungs-glied 1. Ordnung
Summiereigenschaft des Zellsomas
Signalgewichtung durch Länge des Dendriten
![Page 15: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/15.jpg)
Neuron 2. Ordnung(Technische Realisierung)
Berliner Bionik-Neuron
U
U
F
F
VZ1
VZ1
VZ1
![Page 16: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/16.jpg)
Zurück zum Neuron 0. Ordnung
![Page 17: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/17.jpg)
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Netz mit Neuronen 0. Ordnung
![Page 18: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/18.jpg)
Reduktionsgesetz für eine Neuronales Netz 0. Ordnung
![Page 19: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/19.jpg)
Belehren statt programmieren eines NN
![Page 20: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/20.jpg)
Donald O. Hebb (1904-1985)
HEBB-Regel
Häufiger Gebrauch einer Synapse
macht diese stärker leitfähig !
![Page 21: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/21.jpg)
Frank ROSENBLATTs Perceptron
Neuronales Netz 1. Ordnung (a)
2-schichtig mit springendem
Ue-Ua-Verhalten (Schwell-wertelement) und diskreter Verstellung der Gewichte
UeUa
![Page 22: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/22.jpg)
Regel 1:
Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen.
Regel 2:
Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen.
+1
+1
1
1
0 statt 1
1 statt 0
Die Perceptron Lernregel
![Page 23: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/23.jpg)
Lernregel:
Back Propagation
Evolutionsstrategie
UeUa
Heute
Neuronales Netz 1. Ordnung (b)
3-schichtig mit sigmoidem
Ue-Ua-Verhalten (weiches Schwellwertelement) und kontinuierlicher Verstellbarkeit der Gewichte
![Page 24: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/24.jpg)
Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben:
xy
e11
x
y
)1(dd yy
xy
Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:
UeUa
![Page 25: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/25.jpg)
Belehrung (Training) mit Backpropagation
![Page 26: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/26.jpg)
Neuron 1: 1e11
1 neta
Neuron 3:
Neuron 2: 2e11
2 neta
3e11
3 neta
Neuron i: j Ferminet
iiaijj wa
4143131 awawnet
4243232 awawnet
6365353 awawnet
w4
6
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
Einfachstes 3-schichtiges Neuronales Netz
j = nummerierte Eingänge
Durchrechnung des gesamten Netzes
Weiches Schwellwertelement
![Page 27: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/27.jpg)
grad
h sei = 1
h sei = 2
Die Idee des Gradientenfortschritts
Unsichtbare
geneigte Ebene
2 Elementarschritte in die x-Richtung
1 Elementarschritt in die y-Richtung
Experimentator
![Page 28: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/28.jpg)
Fehler: 222
211 )()( **
21
21 aaaaF
Soll Soll IstIst
Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w
46
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
Getriebeübersetzung für 13w13
13ΔwFw
Getriebeübersetzung für 35w35
35ΔwFw
= SchrittweiteDer Gradientenfortschritt
Approximation als Ebenenstückchen
Oder nach der Gradientenidee:Jedes Gewicht muss so geändert werden wie sich der Fehler mit einer Änderung des Gewichts ändert !
Gewichtsänderungen
),,,,,,,( 4636453524142313 wwwwwwwwfF
![Page 29: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/29.jpg)
Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für 13w
3111113
1
113)1()( *1
1aaaaa
wnet
neta
aF
wF
Getriebefaktor (Gewichtsänderung) für 35w
35
3
3
1
135
33
11 w
netneta
anet
neta
aF
wF
35
3
3
2
2
33
22 w
netneta
anet
neta
aF
53313111135
)1()1()( * aaawaaaawF
533232222 )1()1()( * aaawaaaa
222
211 )()( **
21
21 aaaaF 4143131 awawnet
Vorteil der Fermi-Funktion (weiches Schwellwertelement)
Fermi: 11 e11
neta )1(
1dd
111 aa
neta
![Page 30: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/30.jpg)
Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( **21
21 aaaa
w4
6
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
![Page 31: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/31.jpg)
w36w45 w
46
w3
5
w14w23 w
24
2
w1
3Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( **21
21 aaaa
2. Rückwärtsrechnung zur Bestimmung von
bis
13
Δw
24
Δw14
Δw23Δw
35
Δw
46
Δw36
Δw45Δw
a2a1
1
3 4
5 613Δw 46Δw
![Page 32: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/32.jpg)
Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( **21
21 aaaa
2. Rückwärtsrechnung zur Bestimmung von
bis
3. Einstellung der neuen Gewichte
bis
w4
6w
24
w3
5a2a1
w3 w
14w23
w45w
36
1 2
3 4
5 6
13Δw 46Δw
13w 46w
z. B. 35)(35)(35 Δwww altneu
Text
![Page 33: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/33.jpg)
Belehrung (Training) mit der Evolutionsstrategie
![Page 34: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/34.jpg)
w4
6
a5
w2
4
w3
5a2
a3
w1
3 w14w23
w45w
36
1 2
3 4
5 6
a4
a6
a1Mutieren der Gewichte
13w 46wbis1
Bestimmung des Fehlers
222
211 )()( ** aaaaF
3
Durchlaufen des Netzes zur Bestimmung von
1a 2aund2
Die Operation wird -mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.
Text
![Page 35: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/35.jpg)
Es sei w ein Vektor mit den Komponenten
5645363524231413 ,,,,,,, wwwwwwwww
![Page 36: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/36.jpg)
Algorithmus der (1, ) – Evolutionsstrategie mit MSR
11NE1N zww ggg
22NE2N zww ggg
zww gggNEN
eiltnormalvert)1,0(,, /21 nzzz n
ggNBE
1 ww )(),(),()( NN2N1NB min gggg FFFF wwww
ggNBE
1
1E1N gg
2E2N gg
ggEN
eiltnormalvert schlogarithmi
-Würfel
z-Würfel
Streuung
![Page 37: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/37.jpg)
Mutation der Mutabilität undVererbbarkeit der Mutabilität
„Knackpunkt“ der Evolutionsstrategie
DNA-Kopierer
DNA
![Page 38: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/38.jpg)
w
0
2
+ zi
0 1
w
i
ze
Zur Erzeugung der Mutationen z und
2 3 412
13
Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3
logarithmisch normalverteilt (Dichte )
normalverteilt (Dichte z)
![Page 39: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/39.jpg)
ES-Theorie:
10 - 20% optimale Erfolgswahscheinlichkeit
Von-Neumann-Computer
versus
Neuronencomputer
Mutation
Verbesserung unwahrscheinlich
![Page 40: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/40.jpg)
Kausalität
Schwache Kausalität
Starke Kausalität
Gleiche Ursache → Gleiche Wirkung
Ähnliche Ursache → Andere Wirkung
Ähnliche Ursache → Ähnliche Wirkung
Text
![Page 41: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/41.jpg)
Schwach kausales Verhalten Stark kausales Verhalten
Klassischer Computer Neuronencomputer
Nicht evolutionsfähig Evolutionsfähig
![Page 42: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/42.jpg)
Exemplarische Anwendungsgebiete Neuronaler Netze
Signalverarbeitung:Spracherkennung, Bilderkennung, Bildanalyse, Biometrie
Robotik:Motorische Steuerung, Handlungsentscheidungen, Autonome Systeme
Wirtschaft:Kreditwürdigkeitsbeurteilungen, Börsenkurs- und Wirtschaftsprognosen
Psychologie:Modellierung kognitiver Vorgänge, Simulation neuronaler Strukturen
Medizin:Elektronische Nasen, Diagnose, Protein Design, EEG-Auswertung
![Page 43: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/43.jpg)
Das Netz wurde in zwei Verarbeitungspfade unterteilt. Der obere Pfad griff auf Farbinformationen des Hintergrundes zurück, während der untere Pfad die Farbe des betrachte-ten Objekts analysierte.
Dem neuronalen Netz wurde das Objekt in der Trainings-phase unter 40 verschiedenen Farben dargeboten, wäh-rend die Farbe des Hintergrundes nicht variierte. Jedoch konnte auch das vom Hintergrund reflektierte Licht in Ab-hängigkeit der verwendeten Beleuchtung unterschied-liche Wellenlängen annehmen. Insgesamt kamen in verschie-denen Trainingsdurchläufen maximal neun verschiedene Beleuchtungen zum Einsatz. Ziel des Trainings war die korrekte Identifikation der Objektfarbe unter den unter-schiedlichen Beleuchtungsbedingungen.
In der Trainingsphase wurden die korrekten Output-Werte vorgegeben (supervised learning) und die variablen Ge-wichte mit Hilfe der Backpropagation Lernregel angepasst.
Sofern mindestens fünf verschiedene Beleuchtungsbedin-gungen in der Trainingsphase zur Verfügung stehen und diese relativ gleichmäßig über den Farbraum verteilt sind, ist eine Generalisierung des Gelernten festzustellen. In die-sem Fall zeigt sich Farbkonstanz auch unter neuen, dem Netz unbekannten Beleuchtungsbedingungen.
Vergleicht man die Ergebnisse des künstlichen neuronalen Netzes mit Befunden zur Farbkonstanz bei menschlichen Probanden, so zeigen sich trotz vereinzelter Unterschiede große Gemeinsamkeiten bei der Farbeinschätzung von Ob-jekten unter verschiedenen Beleuchtungsbedingungen.
Gleicher Farbeindruck bei unterschiedlicher
Beleuchtung
Nachbildung des Phänomens der Farbkonstanz
![Page 44: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/44.jpg)
Die Entscheidungshilfe für Aktienanleger
Was ist Stock NeuroMaster?
Stock NeuroMaster wurde entwickelt, um Vorhersagen aus bestimmten Marktsituationen zu treffen, die Ihnen bei der Bestimmung des richtigen Kauf- und Verkaufszeitpunktes helfen.
Jetzt verdienen Sie an der Börse endlich Geld!
Modernste neuronale Netzwerktechnologie ("künstliche Intelligenz") hat es jetzt ermöglicht mit einem Standard-PC Vorhersagen ungeahnter Genauigkeit zu treffen.
Der Stock NeuroMaster nutzt neuronale Netze als Instrument, um die historischen Börsen-kurse interessanter Aktien zu analysieren. Basierend auf den Ergebnissen dieser Analyse spricht die Software konkrete Kauf- oder Verkaufsempfehlungen aus.
?
![Page 45: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/45.jpg)
Ende
![Page 46: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/46.jpg)
Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für 13w
3111113
1
113)1()( *1
1aaaaa
wnet
neta
aF
wF
Getriebefaktor (Gewichtsänderung) für 35w
35
3
3
1
135
33
11 w
netneta
anet
neta
aF
wF
35
3
3
2
2
33
22 w
netneta
anet
neta
aF
53313111135
)1()1()( * aaawaaaawF
533232222 )1()1()( * aaawaaaa
Deshalb Rückwärtrechnung
![Page 47: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/47.jpg)
Man mache sich klar: Bei idealer starker Kausalität (Funktionsstetigkeit) ist bei kleinen Mutationen die Erfolgswahrscheinlichkeit gleich 50%. Es trifft also nicht zu (wie oft behauptet wird), dass eine erfolgreiche Mutation in der Evolution ein extrem seltenes Ereignis darstellt. Nur große erfolg-reiche Mutationen sind sehr selten!
Die 50% Erfolgswahrscheinlichkeit (differentiell) kleiner Mutationen ergibt sich aus der Tatsache, dass eine Berglandschaft in der unmittelbaren Nähe durch ein geneigtes Ebenenstückchen approximiert werden kann (Prinzip der Linearisierung).
![Page 48: Ingo Rechenberg Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler Netzwerke PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik,](https://reader033.vdokument.com/reader033/viewer/2022051314/55204d6749795902118bd764/html5/thumbnails/48.jpg)
Vorteil der evolutionsstrategischen Trainingsmethode:
Die Fehler an den Ausgängen müssen nicht explizit bekannt sein. Die Ausgänge des Neuronalen Netzes können z. B. die Bewegung eines Roboters steuern, dessen Ist-Trajektorie mit der Soll-Trajektorie verglichen wird und den zu minimierenden Fehler darstellt.