•
Seminar Robotfußball, SoSe 2003
Selbstorganisation und Lernen
Carsten Keßler
Carsten Keßler: Selbstorganisation und Lernen 2 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 3 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 4 von 50Seminar Robotfußball, SoSe 2003
Einleitung
• Anpassungs- / Lernfähigkeit ist ein Hauptaugenmerk bei autonomen Agenten
• Der Lernprozess besteht häufig aus einer indirekten Programmierung des Agenten („Reinforcement Learning“)
Carsten Keßler: Selbstorganisation und Lernen 5 von 50Seminar Robotfußball, SoSe 2003
Einleitung
• Engere Definition von Selbständigkeit:
• Echte Selbständigkeit muss Eigeninitiative beinhalten
Carsten Keßler: Selbstorganisation und Lernen 6 von 50Seminar Robotfußball, SoSe 2003
Einleitung – die „Vision“
• Startzustand: • Roboter, gesteuert durch ein neuronales Netz
• das neuronale Netz ist in einem „Tabula rasa“ Zustand
• der Roboter reagiert nicht auf seine Sensor-Messwerte
• Aktivitäten sind rein zufällig• die Umgebung enthält statische und dynamische Objekte
Carsten Keßler: Selbstorganisation und Lernen 7 von 50Seminar Robotfußball, SoSe 2003
Einleitung – die „Vision“
• Die Aufgabe:• komplett internes Ziel für den Roboter definieren, damit:
• er anfängt, sich zu bewegen
• während der Bewegung ein Bild von seiner Umgebung entwickelt
• dies sollte unabhängig von den Sensoren und der Fortbewegungsart des Roboters sein
Carsten Keßler: Selbstorganisation und Lernen 8 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
Carsten Keßler: Selbstorganisation und Lernen 9 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
• Die Nervenzelle als biologisches Vorbild
Quelle: Prof. Lippe, Skript „Softcomputing“
Carsten Keßler: Selbstorganisation und Lernen 10 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
• Schematische Darstellung eines künstlichen Neurons
Quelle: Dan Patterson – Künstliche neuronale Netze
Carsten Keßler: Selbstorganisation und Lernen 11 von 50Seminar Robotfußball, SoSe 2003
Künstliche Neuronale Netze
• Formal: Tupel, bestehend aus
• Eingabevektor
• Gewichtsvektor
• Aktivierungsfunktion
• Ausgabefunktion
Carsten Keßler: Selbstorganisation und Lernen 12 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
Quelle: Prof. Lippe, Skript „Softcomputing“
Carsten Keßler: Selbstorganisation und Lernen 13 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
Quelle: Prof. Lippe, Skript „Softcomputing“
Carsten Keßler: Selbstorganisation und Lernen 14 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
• Typen des Lernens• Entwicklung neuer Verbindungen
• Löschen existierender Verbindungen
• Modifikation der Gewichte
• Modifikation des Schwellenwertes
• Modifikation der Aktivierungs- / Ausgabefunktion
• Entwickeln neuer Zellen
• Löschen bestehender Zellen
Carsten Keßler: Selbstorganisation und Lernen 15 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
• Lernstrategien• überwacht (supervised learning)
• bestärkend (reinforcement learning)
• unüberwacht (unsupervised learning)
Carsten Keßler: Selbstorganisation und Lernen 16 von 50Seminar Robotfußball, SoSe 2003
Künstliche neuronale Netze
• Anwendungen• Diagnostik• Vorhersage• Mustererkennung• Optimierung• Risikoabschätzung• Steuerung• ..........
Carsten Keßler: Selbstorganisation und Lernen 17 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 18 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Der Ansatz:
• der Agent überwacht selbst seinen eigenen Lernprozess
Carsten Keßler: Selbstorganisation und Lernen 19 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Problem:
• die Sensorwerte müssen mit einem Modell vorausberechenbar sein, um im nächsten Schritt die gemessenen mit den vorausberechneten Werten zu vergleichen
Carsten Keßler: Selbstorganisation und Lernen 20 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Ausgabe des Controllers:
• xt є Rn: Vektor der Sensorwerte zum Zeitpunkt t
• c: Parameter Vektor
Carsten Keßler: Selbstorganisation und Lernen 21 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Das adaptive Modell soll xt+1 berechnen:
Carsten Keßler: Selbstorganisation und Lernen 22 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• der Fehler dabei beträgt:
Carsten Keßler: Selbstorganisation und Lernen 23 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Lernregeln:• für das Modell:
• für den Controller:
Carsten Keßler: Selbstorganisation und Lernen 24 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Der Khepera Roboter• 8 IR-Sensoren
• 2 Motoren
• max. 1m/s
• erweiterbar
Quelle: http://www.k-team.com
Carsten Keßler: Selbstorganisation und Lernen 25 von 50Seminar Robotfußball, SoSe 2003
Das Modell
• Beispiel
• der Roboter bewegt sich mit konstanter Geschwindigkeit
• der Output des Controllers gibt nur die Drehgeschwindigkeit an
• Modellierung durch ein einzelnes Neuron:
Carsten Keßler: Selbstorganisation und Lernen 26 von 50Seminar Robotfußball, SoSe 2003
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity
Carsten Keßler: Selbstorganisation und Lernen 27 von 50Seminar Robotfußball, SoSe 2003
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity
Carsten Keßler: Selbstorganisation und Lernen 28 von 50Seminar Robotfußball, SoSe 2003
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity
Carsten Keßler: Selbstorganisation und Lernen 29 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 30 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Das Problem:
• Bislang war die Geschwindigkeit gegeben
• Das Modell strebt möglichst konstant bleibende Sensorwerte an
Das ist gegeben, wenn der Roboter nichts tut
Carsten Keßler: Selbstorganisation und Lernen 31 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Die Lösung:
• Der Roboter bekommt einen Anreiz zur Aktivität
• Dazu wird im Vorhersagemodell „die Zeit umgedreht“
Carsten Keßler: Selbstorganisation und Lernen 32 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Die Zeitschleife:
Carsten Keßler: Selbstorganisation und Lernen 33 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Dabei entsteht der Fehler
mit
Der Fehler ist klein, wenn das aktuelle Verhalten des Roboters gut durch das Modell repräsentiert wird
Carsten Keßler: Selbstorganisation und Lernen 34 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Berücksichtigung der Dynamik, die nicht durch das Modell
beschrieben ist (Störung, Messfehler, „Rauschen“):
Carsten Keßler: Selbstorganisation und Lernen 35 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Daraus folgt:
• Der Fehler durch das Rauschen pflanzt sich in der Zeit „rückwärts“ fort
• Der Modellfehler wird minimiert, wenn die Roboter-Sensormesswerte instabil sind
Anreiz zur Aktivität
Carsten Keßler: Selbstorganisation und Lernen 36 von 50Seminar Robotfußball, SoSe 2003
Roboter mit Eigeninitiative
• Verhalten des Roboters:
• Der Roboter zeigt sofort Aktivität, wenn er im Tabula rasa Zustand gestartet wird
• Beim Aufprall auf Hindernisse wird der Messfehler sprunghaft so groß, dass der Roboter sofort umdreht
Carsten Keßler: Selbstorganisation und Lernen 37 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 38 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
Quelle: Der / Liebscher: True autonomy from self-organized adaptivity.
Carsten Keßler: Selbstorganisation und Lernen 39 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Eingabevektor:
x=(vl, vr, s1,…sK)
• vl, vr: Geschwindigkeiten der Räder
• si: Pixelwerte der Kamera im R3
Carsten Keßler: Selbstorganisation und Lernen 40 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Preprocessing:
• Binäre Klassifizierung der Pixel, ob sie der Farbe des Balles entsprechen oder nicht
• Herunterskalieren des Bildes auf 32 * 32 Pixel in Graustufen
• Erzeugen eines Bewegungsvektors im R2 für den Ball aus 2 aufeinander folgenden Bildern
Carsten Keßler: Selbstorganisation und Lernen 41 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Der Controller besteht aus 2 Neuronen
• Neuron 1 regelt die Geschwindigkeit
• gefüttert mit der Geschwindigkeit des Balles in Fahrtrichtung sowie den Sensormesswerten von den Rädern
Funktioniert wie eben gesehen
Carsten Keßler: Selbstorganisation und Lernen 42 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Der Controller besteht aus 2 Neuronen
• Neuron 2 regelt die Lenkung
• wird gefüttert mit den Pixelwerten aus dem vorher aufbereiteten Bild
• Annahme: die Komponente g2 des Bewegungsvektors g soll sich nicht ändern
Carsten Keßler: Selbstorganisation und Lernen 43 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Fehlerberechnung
Carsten Keßler: Selbstorganisation und Lernen 44 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Ausgabefunktionen
Carsten Keßler: Selbstorganisation und Lernen 45 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Lernregeln
Carsten Keßler: Selbstorganisation und Lernen 46 von 50Seminar Robotfußball, SoSe 2003
Visuelle Sensoren
• Ergebnisse:
• Anpassung der Geschwindigkeit funktioniert beim Pioneer ähnlich gut wie beim Khepera
• Anpassung der Richtung aufgrund der Kameradaten bereitet noch Probleme, die allerdings technischer Natur sind
Carsten Keßler: Selbstorganisation und Lernen 47 von 50Seminar Robotfußball, SoSe 2003
Überblick
• Einleitung
• Künstliche neuronale Netze
• Das Modell
• Roboter mit Eigeninitiative
• Visuelle Sensoren
• Zusammenfassung
Carsten Keßler: Selbstorganisation und Lernen 48 von 50Seminar Robotfußball, SoSe 2003
Zusammenfassung
• Wir haben gesehen, wie:• Roboter mit Hilfe von neuronalen Netzen lernen können
• Sie mit Hilfe von neuronalen Netzen dazu gebracht werden können, Aktivität zu entwickeln
• Wie die Verarbeitung von visuellen Informationen in dieses Modell integriert werden kann
Carsten Keßler: Selbstorganisation und Lernen 49 von 50Seminar Robotfußball, SoSe 2003
Zusammenfassung
• Bezug zum Roboterfußball:
• Zur Zeit noch keine praktische Anwendung der hier vorgestellten Ergebnisse
• In der Anwendung dominiert noch die klassische KI
• Ergebnisse sind noch sehr frisch, daher wahrscheinlich in Zukunft auch relevant für die Praxis
Carsten Keßler: Selbstorganisation und Lernen 50 von 50Seminar Robotfußball, SoSe 2003
Vielen Dank für die Aufmerksamkeit!