ingo rechenberg powerpoint-folien zur 9. vorlesung „evolutionsstrategie i“ finale theorie der...
TRANSCRIPT
Ingo Rechenberg
PowerPoint-Folien zur 9. Vorlesung „Evolutionsstrategie I“
Finale Theorie der Evolutionsstrategie
mit Eltern und Nachkommen
DARWINs Denkschema in maximaler Abstraktion
ES)1( 1
Genauere Nachahmung der biologischen Evolution
ES),( 1
Noch genauere Nachahmung der biologischen Evolution
ES),(
Basis-Algorithmus der (, ) - Evolutionsstrategie
1E1N zxx ggi
2E2N zxx ggj
zxx ggkEN
eiltnormalvert- )1,0(,, /21 nzzz n
gg1NBE1
1 xx
,2,1,,, rankji
gg2NBE2
1 xx
gg NBE
1 xx
B1 = Qualitätsmäßig bestes Individuum
B2 = Qualitätsmäßig 2. bestes Individuum
B = Qualitätsmäßig . bestes Individuum
Text
Verschiedene Eltern !
lin
,, lin c
,, 11 lin c
Lineare Theorie der (, ) - Evolutionsstrategie
Der Fortschrittsbeiwert kann bislang nicht berechnet werden.
Was tun ?
= Linienfortschritt
hrV 231 hrV 2
32 hrV 2
33
1 2 3: :
Der junge Archimedes hat eine geniale Idee: Er lässt sich in der Tischlerwerkstatt der Universität aus Holz drei Kegel, eine Halb-kugel und einen Zylinder fertigen. Alle Körper haben die gleiche Kreis-Grundfläche und die gleiche Höhe. Archimedes kündigt einen Vortrag mit dem Titel „Über die Volumina runder Körper“ an.
Aber die Vermutung lag in der Luft, dass sich die Volumina Kegel zu Halbkugel zu Zylinder wie 1 : 2 : 3 verhalten.
Die antike griechische Mathematik war noch nicht in der Lage, die Volumina der Körper zu berechnen.
Archimedes
Eine Anekdote
Eine gewaltige Spannung bemächtigt sich der Zuhörer; schließ-lich hat jeder von ihnen mit dem Problem gerungen. War es möglich, dass dieser noch unbekannte junge Mann die Lösung gefunden hatte? Man wagt kaum zu atmen. Und was macht Archimedes? – Er beginnt mit einer Waage zu hantieren.
Zunächst bringt er die drei Kegel mit dem Zylinder ins Gleichgewicht.
Kein dröhnender Applaus. Eisiges Schweigen! Der erst 14-jährige Apollonius von Perge - trotz Ju-gend schon ein berühmter Mathematiker - erhebt sich und spricht: „Euer Magnifizenz, geehrte Kolle-gen. Ich stelle den Antrag, dass Archimedes für immer der Universität verwiesen werde, da er den Geist der Mathematik mit schmutziger Materie besudelt hat.“ Archimedes kehrt nach Syrakus zurück.
Dann vertauscht er zwei seiner Kegel mit der Halbkugel.
Schließlich wiegt er zwei Kegel mit einer Halbkugel auf.
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20
1 0,002 0,56 0,003 0,85 0,50 0,004 1,03 0,75 0,44 0,005 1,16 0,91 0,67 0,40 0,006 1,27 1,03 0,83 0,61 0,37 0,007 1,35 1,13 0,94 0,76 0,57 0,35 0,008 1,42 1,22 1,04 0,87 0,71 0,54 0,33 0,009 1,49 1,29 1,12 0,96 0,82 0,67 0,50 0,31 0,00
10 1,54 1,35 1,19 1,04 0,90 0,77 0,63 0,47 0,30 0,0012 1,63 1,45 1,30 1,17 1,04 0,93 0,81 0,69 0,57 0,43 0,0014 1,70 1,53 1,39 1,26 1,15 1,05 0,95 0,84 0,74 0,64 0,40 0,0016 1,77 1,60 1,45 1,34 1,23 1,14 1,05 0,95 0,86 0,78 0,59 0,37 0,0018 1,82 1,66 1,53 1,41 1,31 1,22 1,13 1,04 0,96 0,89 0,72 0,55 0,35 0,0020 1,87 1,71 1,58 1,47 1,37 1,29 1,20 1,13 1,05 0,98 0,83 0,68 0,52 0,33 0,0030 2,04 1,90 1,78 1,69 1,60 1,53 1,45 1,39 1,33 1,27 1,16 1,06 0,95 0,86 0,7650 2,25 2,12 2,01 1,93 1,85 1,79 1,73 1,68 1,62 1,57 1,49 1,41 1,33 1,26 1,19
100 2,51 2,39 2,30 2,22 2,16 2,10 2,05 2,00 1,96 1,92 1,85 1,79 1,73 1,67 1,62200 2,75 2,64 2,55 2,49 2,43 2,38 2,34 2,29 2,26 2,22 2,16 2,11 2,06 2,01 1,97300 2,88 2,78 2,69 2,63 2,58 2,53 2,49 2,45 2,41 2,38 2,32 2,27 2,23 2,19 2,15500 3,04 2,94 2,86 2,80 2,75 2,71 2,67 2,63 2,60 2,57 2,52 2,47 2,43 2,39 2,36
1000 3,24 3,15 3,08 3,03 2,98 2,93 290 2,86 2,84 2,81 2,76 2,72 2,68 2,65 2,61
Linearer Fortschritt: ,, c , cauf einem Computer auswiegen
Im Jahr 1969 mit dem Rechner PDP -10 „ausgewogen“. – Rechenzeit: 730 Stunden !
Feststellung:
Eine (, ) - ES ist
langsamer als eine (1, ) - ES
Statt vom vordersten Punkt (dem Spitzenelter) wird auch von weiter hinten aus (dem zweitbesten, drittbesten, … Nachkommen) mutiert. Die schlechteren Eltern müssen hinterher geschleppt werden.
lin
kug
,, lin c
,1,1 lin c
rnc 2
2,1,1 kug
rnc 2
2,, kug
Von der linearen zu nichtlinearen Theorie
?
Kugelmodell
Er
.. .x x2 n
x1
q
N"'N
a
nnq 1
222 arqr
rarqa 2 2 für
2
a linKugel
a
"
Linien Fortschritt
N
Für q << r darf a auf x 1
projiziert werden
Mutation der Variablen x 2 bis x
n
Der bis auf x 1 mutierte
Nachkomme N‘ erleidet
den Rückschritt a
Eine geometrische Betrachtung für n >> 1
Projektion erlaubt wenn q << rWir drehen q um die x1-Achse so, dass q in der Bildschirmebene liegt
rnc 2
2,Kugel
Alle bis auf x 1 mutierten
Nachkommen N‘
erleiden den Rückschritt
a
Das dimensionslose Fortschrittsgesetz
rnc 2
2,Kugel
2,2 cr
n
2,
2
22
,2
, 422
crn
crn
crn
mit
2
,2 crn
,2 crnund
folgt das zentrale Fortschrittsgesetz2
Dimensionslose Fortschrittsgeschwindigkeit
Dimensionslose Schrittweite
rnc 2
2,Kugel
),,,,( rnf
Text
-5 -3 -1 310
0,2
0,1
0,3
1 01 01 01 010
2
Evolutions Fenster
Gültig für beliebige werte von , , , r, n !
Kugelmodell
Korridormodell
10010-210-410-610-8 102 104 106 1080
0,4
0,3
0,2
0,1
*
*
Fortschrittsfenster der (1 + 1) - Evolutionsstrategie
Evolutionsfenster
Warum logarithmische Auftragung für die Schrittweite ?
Einzig sinnvolle Skala
Das gilt auch für die Mutationsschrittweite
Zitronensaft
M agensäure Kaffee
Reines WasserBatteriesäure Lim onade Darm saft
Waschm itte llösung
Speiseessig Apfelsaft Trinkmilch
Saure M ilch Backpulverlösung
Seewasser Am m oniaklösung
D ie pH -Skala
6 7 8 9 1 0 1 1 1 2 1 3 1 40 1 2 3 4 5!
Elektromagnetisches Wellenspektrum
Potenz einer Ionenaktivität
1 02 0,0796 03 0,1194 0,0417 04 0,1325 0,0703 0,0242 05 0,1352 0,0828 0,0449 0,01606 0,1338 0,0884 0,0574 0,03107 0,1306 0,0912 0,0631 0,04138 0,1267 0,0930 0,0676 0,04739 0,1225 0,0925 0,0697 0,0512
10 0,1184 0,0911 0,0708 0,054111 0,1144 0,0891 0,0708 0,055612 0,1106 0,0876 0,0704 0,057013 0,1070 0,0860 0,0696 0,057014 0,1036 0,0836 0,0690 0,056815 0,1004 0,0816 0,0677 0,0566
/*max,1 /*
max,2 /*max,3 /*
max,4
Serielle Fortschrittsgeschwindigkeit /*,Maximalwert
e
0,1352
0,0930
0,07080,0708
0,05700,0570
rn
,
Maximale (serielle) Fortschrittsgeschwindigkeit:
(1 + 1) - ES versus (, ) - ES
nr202,0max11
nr135,0max5,1
nr093,0max8,2
nr072,0max11,3
nr057,0max13,4
maxmax 115,1 67,0
maxmax 118,2 46,0
maxmax 1111,3 35,0
maxmax 1113,4 28,0
vergleichen wir mit max,
Warum (, )-Evolutionsstrategie ?
Wir können den Mittelwert (= Schwerpunkt) der erfolgreichen Nachkommen bilden
Und das wird sich als ein raffinierter evolutionsstrategischer Trick erweisen
Denn die Nachkommen liegen „mal links, mal rechts“ neben dem Gradienten
Wir bilden den Mittelwert der besten Nachkommen
/)( )(1)(1)(11 21 NBNBNB xxxx
. .
.
/)( )(2)(2)(22 21 NBNBNB xxxx
/)( )()()( 21 NBnNBnNBnn xxxx
Zur Mittelwertbildung
Gegeben sind die Werte mzzzz ,,,, 321
Dann ist der Mittelwert mzzzzz m /)( 321
Wenn mzzzz ,,,, 321 unabhängig (0, )-normalverteilt sind,
Dann besitzt die Zufallsgröße z die verminderte Streuung m/
Normalverteilte Zufallszahlen
Die besten Nachkommen sind aber die ausgelesenen Eltern
Additionstheorem der Normalverteilung
Also bilden wir den Mittelwert (= Schwerpunkt) der Eltern mit den Variablenwerten
nnnxxxq n 11223
22
Der Querschritt reduziert sich um den Faktor !
/1
/)( )(1)(1)(11 21 EEE xxxx
/)( )(2)(2)(22 21 EEE xxxx
/)( )()()( 21 EnEnEnn xxxx
. .
.
Berechnung des misslichen Querschritts
Was geschieht mit den über gemittelten x1 Werten, die als beste Eltern ausgelesen wurden und zu-sammen den Fortschritt ergeben ? Die einzelnen x1-Fortschritte werden zwar durch dividiert, aber es werden dann von ihnen, die ja alle mehr in der positiven Mutationsrichtung liegen, wieder addiert. Der Verlust durch Mittelung bleibt klein (siehe -Tabelle). ,c
/
Die arithmetrisch über gemittelten Variab-len xi besitzen nach dem Additionstheorem der Normalverteilung die Streuung:
1 2 3 4 5 6 7 8 9 10 12 14 16 18 20
1 0,002 0,56 0,003 0,85 0,42 0,004 1,03 0,66 0,34 0,005 1,16 0,83 0,55 0,48 0,006 1,27 0,95 0,70 0,48 0,25 0,007 1,35 1,06 0,82 0,62 0,42 0,23 0,008 1,42 1,14 0,92 0,73 0,55 0,38 0,20 0,009 1,49 1,21 1,00 0,82 0,65 0,50 0,35 0,19 0,00
10 1,54 1,27 1,07 0,89 0,74 0,60 0,46 0,32 0,17 0,0012 1,63 1,37 1,18 1,02 0,88 0,75 0,63 0,51 0,39 0,27 0,0014 1,70 1,46 1,27 1,12 0,99 0,87 0,76 0,65 0,55 0,45 0,24 0,0016 1,77 1,53 1,35 1,20 1,08 0,96 0,86 0,76 0,67 0,58 0,40 0,22 0,0018 1,82 1,59 1,41 1,27 1,15 1,04 0,94 1,85 0,76 0,68 0,52 0,36 0,20 0,0020 1,87 1,64 1,47 1,33 1,21 1,11 1,02 0,93 0,85 0,77 0,62 0,48 0,33 0,18 0,0030 2,04 1,83 1,67 1,55 1,45 1,35 1,27 1,20 1,13 1,06 0,94 0,83 0,73 0,63 0,5350 2,25 2,05 1,91 1,80 1,71 1,62 1,55 1,49 1,43 1,37 1,27 1,18 1,10 1,02 0,95
100 2,51 2,33 2,20 2,10 2,02 1,95 1,88 1,83 1,78 1,73 1,65 1,57 1,50 1,44 1,39
Linearer Fortschritt: ,, c , c aus Tabelle
kk ki
ki cki
ikic
,1
1
0
1
, 11Die Fortschrittsbeiwerte sind berechenbar und müssen nicht „ausgewogen“ werden
Kugelmodell
Er
.. .x x2 n
x1
121 nqqqq
222 arqr
rarqa 2 2 für
2
a linKugel
rnc 2
2,Kugel
Für q << r darf a auf x 1
projiziert werden
Mutation der Variablen x 2 bis x
n des
Nachkommem N1 ergeben den Quer-
schritt q1. Für alle Nachkommen gilt:
q1(N1) = q2(N2) = q3(N
3) = . . .
Division durch (Mittelwertbildung)
nq
q1
a
aDurch Addition der normalverteilten Eltern (Additionstheorem !)
Linien FortschrittDer Rückschritt
a hat sich verkleinert
q
für n >> 1
Summierung der Querschritte
der besten Nachkommen
Intermediäre Vererbung in der Natur
Der Unterschied zur intermediären Vererbung in der Natur ist, dass bei der () -ES nicht zwei, sondern alle El-
tern ihre Variablenwerte mischen. Eine derartige Multi-Re-
kombination gibt es in der Natur nur bei Viren (Phagen).
In der Natur werden die Erbanlagen von je zwei Individuen gemischt. In der Nomenklatur der ES wäre die Mischungszahl = 2.
( , ) - ES = 2 Nur Phagen (Viren, die in Bakterien leben) beherrschen die Technik der
Multirekombination = . Das heißt, alle Eltern mischen ihre Erbanlagen.
( , ) - ES =
Multi-Mischung (Multirekombination) ist auf dem Computer nicht nur leicht durchführbar, sondern algorithmisch sogar einfacher zu programmieren.
Evolutionsstrategen arbeiten mit Multirekombination
Nomenklatur
( , ) - ES (, ) - ES
oder
In der Theorie lässt sich nur der Fall = erfolgreich behandeln.
Multirekombination liefert eine größere Fortschrittsgeschwindigkeit als die Zweier-Rekombination
Warum ( , ) - ES statt (1 + 1) - ES ?
1. Selbstadaptation der Mutationsschrittweite erfordert eine Gruppe konkurrierender Individuen ( > 1)
2. Die Einführung des Vererbungsfaktors „Chromosomen-Kreuzung“ erfordert mehrere Eltern ( > 1)
3. Eine Population von Elternindividuen ( > 1) ist robuster gegenüber Qualitätsrauschen (unscharfe Selektion) Nächste Vorlesung
Der Algorithmus der - Evolutionsstrategie lautet verbal:
Eltern der Generation g erzeugen in zufälliger Folge insgesamt Nachkommen.
2. Plus-Strategie: von den + Individuen werden die besten zu Eltern der Generation g +1.
Komma-Strategie: Streichen der Eltern der Generation g. Von den Individuen werden die besten zu Eltern der Generation g +1.
),(
In der Formel
ist die Fortschrittsgeschwindigkeit eine Funktion von der Variablenzahl n, dem Höhenlinien-Krümmungsradius r, der Mutationsstreuung , der Nachkommen-zahl und der Elternzahl . Das ist eine 5-dimensionale Mannigfaltigkeit. Nur eine unüberblickbare Schar von Diagrammen könnte den Zusammenhang grafisch veranschaulichen.
In der dimensionslosen Form mit den universellen Parametern und ist der Zusammenhang in einem einzigen Diagramm darstellbar.
rnc 2
2,Kugel
),,,,(Kugel rnf