bci – steuerung teilautonomer systeme nico lüdike, stephan …afinke/p300... · 2010. 3. 10. ·...
TRANSCRIPT
![Page 1: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/1.jpg)
1
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
BCI – Steuerung teilautonomer SystemeNico Lüdike, Stephan Brandauer
• Teil 1 : Wheelchair
• Teil 2 : Humanoid Robot
• Vergleichende Betrachtung
• Abschluss, Diskussion
![Page 2: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/2.jpg)
2
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem DachGeistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
P300-Robot Control – Part 1: Wheelchair
Präsentation von „A Brain-Controlled Wheelchair Based on P300 and Path Guidance“
- B. Rebsamen, E. Burdet, C. Guan, H. Zhang, C. L. Teo, Q. Zeng, M. Ang, C. Laugier; Februar 2006
![Page 3: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/3.jpg)
3
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Motivation
• Exploration der Machbarkeit
• Entwicklung eines Prototyps zur Fortbewegung für Locked-In-Patienten(Amyotrophe Lateralsklerose, ALS)
• Grundlagen für weitere Forschung auf dem Gebiet
![Page 4: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/4.jpg)
4
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Anforderungen an das System
• Sicherheit hat oberste Priorität! Denn Fehler gefährden die Gesundheit des Nutzers
• Anpassungsfähigkeit Lernfähigkeit neuer Umgebungen
![Page 5: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/5.jpg)
5
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Ansatz
• Kombination eines EEG-basierten BMIs und einer teilautonomen Steuerung (Path Following)
• Erfordert „Erschließung“ der Einsatzumgebung, d.h. Definition möglicher Pfade durch einen Helfer
• Barcodes auf dem Boden ermöglichen Erhöhung der Genauigkeit der odometrischen Positionsbestimmung (max 10cm Abweichung bei Barcodes alle 10m)
![Page 6: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/6.jpg)
6
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Erschließung der Einsatzumgebung
• Mehrere Möglichkeiten für einen Helfer, sichere Pfade zu definieren und zu modifizieren
•GUI „drag and drop“
• Walk Trough Programming
• Simple Werkzeuge•wenig Training des Helfers notwendig
![Page 7: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/7.jpg)
7
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Setup
• EEG misst Hirnaktivität• Verstärkung des Signals• Rauschverringerung durch PCA
• Detektierung der P300 mittels SVM
• Interpretation der Signale durch statistisches Modell (Wahrscheinlichkeiten)
![Page 8: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/8.jpg)
8
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
InterfaceP300: Wiederholung
• P300 tritt 300ms nach einem Reiz auf
• auditiv oder visuell
• Möglicher Reiz:• Blinkender Rahmen um Bilder (zufälliges Bild, n-mal aufleuchten)
• Höchster Output bei dem Bild mit der Aufmerksamkeit
![Page 9: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/9.jpg)
9
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Steuerung
• Ansatz gleicht dem P300- Speller
• Mehrere Durchläufe zur Minimierung des Fehlers
• „Hierarchische Struktur“ möglich: erst Auswahl des Stockwerks, dann des Raumes
![Page 10: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/10.jpg)
10
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Testumgebung
• Gesunde Probanden• Zwei Stockwerke, jeweils vier ansteuerbare Punkte, sechs Pfade
• Benutzung des Liftes erfolgt „manuell“
• Trainingsphase für das Klassifikationssystem von wenigen Minuten
![Page 11: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/11.jpg)
11
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Evaluation
• Alle Probanden erreichten beim ersten Versuch das gewünschte Ziel (!)
• Die Eingabe eines Kommandos dauerte durchschnittlich 10 sec
• Andere Anforderungen als an den Speller, keine notwendige volle Konzentration auf die Aufgabe gewünscht.
• Deshalb Untersuchung des Einflusses von Ablenkung
![Page 12: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/12.jpg)
12
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Auswirkungen von Ablenkung
• Fehlerrate sinkt schneller als der Zeitaufwand zunimmt
• Wahl der Schwelle, so dass die Fehlerrate bei akzeptabler Antwortzeit hinreichend klein wird.
• Antwortzeit von 20 sec
![Page 13: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/13.jpg)
13
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Unvorhergesehene Ereignisse
• Steuerung durch den Nutzer für Gefahrensituationen zu langsam (20 sec)
• Deshalb Ausstattung des Rollstuhls mit einem System zur Kollisionsvermeidung
• Rollstuhl stoppt bei Hindernis im Weg• Nutzer wählt Reaktion
• Umfahren rechts oder links
• Warten
• Hilfe rufen
![Page 14: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/14.jpg)
14
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem DachGeistes-, Sozial-, Technik- nd Naturwissenschaften – gemeinsam unter einem Dach
P300-Robot Control – Part 2: Humanoid
Präsentation von „Control of a humanoid robot by a noninvasive brain-computer interface in humans“
- Christian J. Bell, Pradeep Jenoy, Rawichote Chalodhorn, Rajesh P. N. Rao; Mai 2008
![Page 15: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/15.jpg)
15
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Präsentierte Studie
• Control of a humanoid robot by a noninvasive brain-computer interface in humans
• Christian J. Bell, Pradeep Jenoy, Rawichote Chalodhorn, Rajesh P. N. Rao; Mai 2008
• Kontrolle eines Roboters durch P300-Ansatz• Kompensation der inhärenten Nachteile durch geeignetes Interface
![Page 16: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/16.jpg)
16
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
EinführungMotivation & Ziel
• EEG wird generell als zu beschränkt für komplexe Steuer-Anwendungen gesehen
• niedrige Bandbreite
• schlechte Signal-to-Noise-Ratio (SNR)
• Ziel der Studie: steuern eines humanoiden Roboters mit EEG
• Auswählen von: Gegenständen, (Destinations-)Orten
![Page 17: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/17.jpg)
17
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
EinführungSzenario
![Page 18: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/18.jpg)
18
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Einführungkonkretes Szenario
• Roboter in Arena• Farbig markierte Gegenstände auf Tisch zur Auswahl• zwei weitere Tische (Destinationen)
Tische
Gegenstände
![Page 19: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/19.jpg)
19
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
VersuchVorstudie
• Vorstudie• ohne Roboter-in-the-loop
• 4 Abschnitte:• 2 Abschnitte mit 2x2 Bildern – kein Kommentar, warum 2!
• 1 Abschnitt mit 2x3
• 1 Abschnitt mit 3x2
• 2x3 & 3x2: um Layout-Auswirkungen zu vergleichen
![Page 20: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/20.jpg)
20
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
VersuchVorstudie – Ergebnisse
• Klassifikationsrate ist abhängig vom Reiz!
• bei 5 Blitzen und 4 (!!) Optionen: ca. 95%
• 2x3 vs. 3x2 ergibt keine signifikanten Unterschiede!
Spatially Filtered: Ein anderer Klassifikationsalgorithmus:Hoffmann U, Vesin J-M and Ebrahimi T 2006 Spatial filtersfor the classification of event-related potentials Proc.ESANN pp 47–52
![Page 21: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/21.jpg)
21
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
VersuchAblauf
1) System präsentiert Optionen (Objekte)2) Benutzer wählt durch ansehen3) Roboter navigiert zum Objekt und nimmt es auf4) Benutzer wählt Destination5) Roboter navigiert zur Destination und legt Objekt ab
![Page 22: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/22.jpg)
22
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
VersuchKommentare
• Der Mensch gibt vor, WAS zu tun ist, nicht WIE!• Aufgaben des Roboters:
• Bildverarbeitung (finden der Objekte, finden der Tische)
• Aufnehmen der Objekte
• Navigation (zu den Objekten, Tischen)
![Page 23: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/23.jpg)
23
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
InterfaceÜbersicht
• Roboter erkennt Objekte (Bildverarbeitung)• Ausschnitte des Kamerabildes gezeigt
• Alle erkannten Objekte kriegen ein eigenes Bild
• Bildausschnitte werden mittels P300-Verfahren ausgewählt
Objekt 1 Objekt 2
![Page 24: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/24.jpg)
24
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Ergebnisse
• Komplexes Gerät erfolgreich durch P300-Ansatz gesteuert
• asynchrone Steuerung: „future work“
![Page 25: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/25.jpg)
25
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Vergleichende Betrachtung
• Beide Systeme steuern komplexes System über P300
• Langsamkeit des BCI ausgeglichen durch teilautonome Steuerung
• Über das BCI werden nur Optionen ausgewählt, das System führt Befehle autonom aus
![Page 26: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/26.jpg)
26
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach
Ende!Fragen? Diskussion?
Vielen Dank für eure
Aufmerksamkeit!
![Page 27: BCI – Steuerung teilautonomer Systeme Nico Lüdike, Stephan …afinke/p300... · 2010. 3. 10. · 2 Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem](https://reader033.vdokument.com/reader033/viewer/2022051906/5ff8d7479efd38238c1ef588/html5/thumbnails/27.jpg)
27
Geistes-, Sozial-, Technik- und Naturwissenschaften – gemeinsam unter einem Dach