![Page 1: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/1.jpg)
Michael Wendt
June 26, 2013Tweet 4U
![Page 2: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/2.jpg)
Page 2 Tweet 4U | M. Wendt | June 26, 2013
Gliederung
1. Thema der Arbeit
2. Konzepte
3. Modell
4. Resultate
![Page 3: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/3.jpg)
Page 3 Tweet 4U | M. Wendt | June 26, 2013
Gliederung
1. Thema der Arbeit
2. Konzepte
3. Modell
4. Resultate
![Page 4: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/4.jpg)
Page 4 Tweet 4U | M. Wendt | June 26, 2013
1. Thema der Arbeit
I Welt wird immer vernetzter
I viele Nachrichten, die man nicht immer abrufen kann
I Idee: System, das Nachrichtenverkehr regelt
I Ziel der Arbeit: Modell eines Systems erstellen, welches
Nachrichtenverkehr eines Benutzers regelt
I Modell auf Realität und Planbarkeit überprüfen
![Page 5: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/5.jpg)
Page 5 Tweet 4U | M. Wendt | June 26, 2013
1. Thema der Arbeit
I als Testumgebung dient die unten abgebildete Wohnung
I hier lebt ein Benutzer, der viele Nachrichten durch Internetdienste
erhält
I Wunsch: ein Agent, der diesen Verkehr intelligent regelt
![Page 6: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/6.jpg)
Page 6 Tweet 4U | M. Wendt | June 26, 2013
Gliederung
1. Thema der Arbeit
2. Konzepte
3. Modell
4. Resultate
![Page 7: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/7.jpg)
Page 7 Tweet 4U | M. Wendt | June 26, 2013
2. Konzepte
I Umgebung nur teilweise beobachtbar
I Person verhält sich in der Umgebung nicht deterministisch
I Nachrichten kommen zufällig an
I System deshalb als Partially Observable Markov Decision Process
I um es zu testen wird das Modell in RDDL übersetzt
![Page 8: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/8.jpg)
Page 8 Tweet 4U | M. Wendt | June 26, 2013
Partially Observable Markov Decision Process
I wird für nichtdeterministische Umgebung verwendet, um über einen
endlichen Zeithorizont zu planen
I Umgebung ist hierbei nur partiell beobachtbar
Agent UmgebungAktion
BeobachtungenZustandsänderung
![Page 9: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/9.jpg)
Page 9 Tweet 4U | M. Wendt | June 26, 2013
Partially Observable Markov Decision Process
I ein stochastisches System Σ = {S,A,O,P,P ′,R}
I S = Menge aller Zustände
I A = Menge aller Aktionen
I Pa(s′|s) ordnet jeder Aktion eine Übergangswahrscheinlichkeit zu
I R : S×A→ R ist die Rewardfunktion, sie ordnet jedem Paar einen
Reward zu
![Page 10: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/10.jpg)
Page 10 Tweet 4U | M. Wendt | June 26, 2013
Partially Observable Markov Decision Process
I Beobachtungen O, die den aktuellen, beobachtbaren Zustand des
Modell angeben
I aktueller Zustand nicht vorhersagbar, daher beliefs B
I B ist eine Wahrscheinlichkeitsverteilung über s
I Policy ist nun Π : B→ A
I Finden der idealen Policy z.B. über ein MDP über den beliefstates
![Page 11: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/11.jpg)
Page 11 Tweet 4U | M. Wendt | June 26, 2013
Gliederung
1. Thema der Arbeit
2. Konzepte
3. Modell
4. Resultate
![Page 12: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/12.jpg)
Page 12 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I zwei wichtige Eigenschaften der Umgebung: Nachrichten und
Benutzer
I Benutzer wird durch Aufenthaltsort und internen Zustand dargestellt
I interner Zustand: will der Benutzer gerade eine Nachricht?
I Ist eine Nachricht da? Ist sie wichtig?
![Page 13: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/13.jpg)
Page 13 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I Benutzer bewegt sich durch die Umgebung
I deshalb: Abstraktion auf einen Adjazentgraphen
I pro Zeitschritt in Richtung Horizont nur eine eine Bewegung des
Benutzers
Schlafzimmer
Wohnbereich
Kaffeeecke
Arbeitsbereich
Flur
Spülecke
Ausserhalb
![Page 14: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/14.jpg)
Page 14 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I Agent braucht Sensoren um die Umgebung beobachten zu können
I falls die Benachrichtigung ortsabhängig ist, muss der Agent wissen,
wo sich der Benutzer aufhält
I der interne Zustand ist ebenfalls wichtig für den Agenten
I er wird durch eine Rückmeldung des Benutzers beobachtet
![Page 15: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/15.jpg)
Page 15 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I Zufallsvariablen des Modells und wie sie voneinander abhängen
I N und W stellen die Nachrichten dar
I O und G den Benutzer
I S(x) und Ru die Sensoren
N W
N'
G Ru
G'
O S(x)
O'W' S'(x) Ru'
![Page 16: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/16.jpg)
Page 16 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I Agent hat im Modell zwei Aktionen: ben und noop
I ben: Benutzer wird über den aktuellen Status seiner Nachrichten
benachrichtigt
I noop: nicht handeln
I Reward abhängig von Aktion des Agenten, Nachricht da, Nachricht
wichtig, interner Zustand des Benutzers
![Page 17: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/17.jpg)
Page 17 Tweet 4U | M. Wendt | June 26, 2013
3. Modell
I theoretisches Modell wird zu zwei Modellen in RDDL
einfaches Modell schwieriges Modell
Benutzer überall erreichbar Benutzer nicht überall erreichbar
ortsunabhängige Benachrichtigung Benachrichtigung ist ortsabhängig
alle Nachrichten gleich Nachrichten sind wichtig oder unwichtig
![Page 18: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/18.jpg)
Page 18 Tweet 4U | M. Wendt | June 26, 2013
Gliederung
1. Thema der Arbeit
2. Konzepte
3. Modell
4. Resultate
![Page 19: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/19.jpg)
Page 19 Tweet 4U | M. Wendt | June 26, 2013
4.Resultate
I beide RDDL Modelle wurden auf Realitätsnähe und Planbarkeit
getestet
I Test auf Realitätsnähe: Modell mit Standardwerten befüllen, die
durch Annahmen über die Realität errechnet wurden
I Test auf Planbarkeit: Modell durch den Planer Symbolic Perseus
testen lassen
I hierbei Variablen verändern, um zu sehen, wann das beste Ergebnis
erzielt wird
![Page 20: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/20.jpg)
Page 20 Tweet 4U | M. Wendt | June 26, 2013
Test auf Realitätsnähe
I errechnen von Standartwerten durch Annahmen über die Realität
I mit diesen Werten dann drei mal 300 Testdurchläufe über
verschiedene Horizonte
I Auswertung per Mittlung der Werte, welche Werte weichen von den
Annahmen ab
![Page 21: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/21.jpg)
Page 21 Tweet 4U | M. Wendt | June 26, 2013
Test auf Realitätsnähe: leichtes Modell
I leichtes Modell ist bis auf zwei Variablen realitätsnah
I der Benutzer will zu häufig benachrichtigt werden
I der Benutzer verbringt zu viel Zeit in der Küche, im Flur und im
Wohnzimmer
I dies liegt an der zentralen Lage dieser Räume
Schlafzimmer
Wohnbereich
Kaffeeecke
Arbeitsbereich
Flur
Spülecke
Ausserhalb
![Page 22: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/22.jpg)
Page 22 Tweet 4U | M. Wendt | June 26, 2013
Test auf Planbarkeit
I Gegenüberstellung von drei Policys: random, noop und Symbolic
Perseus Policy
I jede Policy mit verschiedenen Varianten beider Modelle getestet
I Varianten entstehen, indem eine der Variablen des Modells
verändert wird
I restliche Variablen verbleiben beim Standartwert
![Page 23: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/23.jpg)
Page 23 Tweet 4U | M. Wendt | June 26, 2013
Test auf Planbarkeit: leichtes Modell
I beste Policy bei einer Wahrscheinlichkeit, dass der interne Zustand
sich ändert von 0.8 (sonst Standartwerte)
![Page 24: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/24.jpg)
Page 24 Tweet 4U | M. Wendt | June 26, 2013
Test auf Planbarkeit: leichtes Modell
I Policys werden einer ansteigenden Fehlerwahrscheinlichkeit von Ru
schlechter
I ab einer Wahrscheinlichkeit für Fehler beim Sensor Ru von 0.4
werden die Policys jedoch besser
![Page 25: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/25.jpg)
Page 25 Tweet 4U | M. Wendt | June 26, 2013
Test auf Planbarkeit: schwieriges Modell
I schlechte Policy bei perfekten Ortssensoren, sogar schlechter als
noop Policy
I wenn nur unwichtige Nachrichten ankommen sin Policys besser, als
wenn auch wichtige Nachrichten kommen können
![Page 26: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/26.jpg)
Page 26 Tweet 4U | M. Wendt | June 26, 2013
Test auf Planbarkeit: schwieriges Modell
I wenn nur unwichtige Nachrichten ankommen sin Policys besser, als
wenn auch wichtige Nachrichten kommen können
![Page 27: Michael Wendt Tweet 4U June 26, 2013 - uni-ulm.de filePage 4 Tweet 4U jM. Wendt jJune 26, 2013 1. Thema der Arbeit I Welt wird immer vernetzter I viele Nachrichten, die man nicht immer](https://reader034.vdokument.com/reader034/viewer/2022050718/5e1742b78f75e432dc5e8e48/html5/thumbnails/27.jpg)
Page 27 Tweet 4U | M. Wendt | June 26, 2013
Fazit
I Modellierung von Problemen ist so schon ganz brauchbar
I Bewegung des Nutzers noch nicht optimal modelliert
I Modell kann noch beliebig erweitert werden (zum Beispiel um
Aktionen, die Benutzer ausführt)