Überblick software bestellungsver- waltungsprozess dialogmanagement simulation sprachverarbeitung...
Post on 05-Apr-2015
110 Views
Preview:
TRANSCRIPT
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Sprachverarbeitung:
1. Spracherkennung und Dialog
– Software Nuance 8
– Prototyp 1: Entwicklung einer Grammatik
– Prototyp 2: Java Client
– Prot.3-4: Sprachausgabe, Dialoge, Erweiterungen
– Prototyp 5-7: Erweiterung der GSL-Grammatik: Optimierung, Small-talk
2. Sprachgenerierung und Synthese
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Spracherkennung:
Signalanalyse Frequenzen/Zeitpunkt
Merkmalsextraktion
Musterabgleich Ähnlichkeitsmaß
Folge von Lauten, Wörtern
als Ergebnis
Lexikalische Dekodierung
Syntaktische Analyse
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Software: NUANCE 8
Anwendungsgebiet:– Marktführer, sehr präzis– Für kontinuierliche Sprache– Sprecher-unabhängig
Funktionsweise:– Wird mit statistischen Sprachmodellen kombiniert– Geräusch-robuste Merkmalsextraktion– Akustische Adaptation (an Sprecher)
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Erkennungs-Grammatik unter Nuance:
Grammatikdatei(en): Nuance individuell einsetzen
Werkzeug: Nuance Grammar Builder
zum editieren und kompilieren
Notation: in Grammar Specification Language (GSL)– Für kontextfreie Grammatiken
– Terminalen und nonterminalen Symbolen
– Erweiterungen möglich, wie z.B. Wahrscheinlichkeit des Vorkommens
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Erkennungs-Grammatik unter Nuance:
Konstrukt Bedeutung Beispiel Beschreibung(...) Konkatenation (ich möchte) Phrase ’ich möchte’[...] Disjunktion [tee kaffee] ’tee’ oder ’kaffee’* Kleen’sche *viel milch ’milch’, ’viel milch’, Hülle ’viel, viel milch’, ...+ Positive Hülle +viel milch ’viel milch’, ’viel, viel milch’, ...? Option kaffee ?bitte ’kaffee’ oder
’kaffee bitte’
Auszug aus den Syntaxkonstrukten der GSL
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Erkennungs-Grammatik unter Nuance:
Beispiel bei espresso:
.SATZ (ich möchte einen GETRAENK)
GETRAENK [kaffee tee milch milchkaffee]
Durch Einführung von Regeln wird die Grammatik flexibel
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Erkennungs-Grammatik unter Nuance:
Bei zu großen Grammatiken hingegen,
– wird die Bearbeitung langsamer
– die Erkennungsrate sinkt
– es können semantisch ungültige Konstrukte generiert werden
möglichst viele denkbare Sätze in die Grammatik, aber nicht alle mögliche (Begrenzung auf Bereiche).
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototyp 1: Entwicklung einer Grammatik
(Bestellungsvorgang)
Beispiele von erkannten Sätze:
• Einen Kaffee bitte• Mach mir einen Kaffee• Für mich einen Kaffee• Ich hätte gerne einen Kaffee
– sollte robust sein
– ausreichend für erste Versuche(Tests über Nuance Server)
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
.INIT[
( BITTE GETRAENK )( GETRAENK BITTE )( PERSONALPRONOMEN VERB ?(BITTE ?(GERNE)) GETRAENK )
]BITTE
[?(bitte)
]GERNE
[?(gerne)
]PERSONALPRONOMEN
[ich
]VERB
[( moechte )( haette )( will )
]
GETRAENK
[
( einen ?(doppelten) kaffee )
( eine kanne kaffee )
( einen ?(doppelten) cappuccino )
( einen ?(doppelten) latte macchiato )
( einen ?(doppelten) milchkaffee )
( einen ?(doppelten) kaffee creme )
( einen ?(doppelten) milchkaffee )
( einen ?(doppelten) espresso )
( milchschaum )
]
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototyp 2:– Grammatik erweitert– Java-Client programmiert
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototypen 3-4:
– Integration von Text-to-speech– Integration von Maschinensteuerung– Dialoge entwickelt:
• Begrüßung• Getränke-Repertoire• Antwort auf Bestellungen• Meldung bei Missverständnis• Abbruch der Bestellung
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototypen 3-4:
U: Guten Tag, WMF combination S.
M: Guten Tag. Was kann ich Ihnen anbieten?
U: Was kannst Du denn alles?
M: Ich kann Kaffee, Café Crème, (...). Was ist Ihr Wunsch?
U: Ich hätte gerne einen Cappuccino.
M: Entschuldigung, ich habe eben leider nicht zugehört.
U: Einen Cappuccino bitte.
M: Gerne, ich mache Ihnen eine Cappuccino. Einen Moment bitte.
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototypen 3-4:
Weiterer sprachliche Aspekt:
Aussprache bei unbekannten Wörtern oder Fremdwörtern:
Dictionary-Files in Lautschrift-Notation bei Nuance
aufgeschaeumte aw u f g * S Oj m t *combination k o m b i n e S * nheisses h aj s E Smacchiato m A k i A t omilchschaum m i l rej S aw m
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototypen 5 bis Final:
– Sprachsynthese und Steuerungin entsprechende Module ausgelagert
– Wahrscheinlichkeitswerte in Grammatik
– Weitere Dialog-Elemente, Smalltalk
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Prototypen 5 bis Final:
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
Generierung und Synthese
• Routengraphen
Sprachgenerierung und -synthese (Kurzer Einblick)
– Benutzte Software: Mary(andere: SABLE, SAPI)
– Herausforderung Aussprache/Intonation(Parsen, Satzmelodie finden, Lexikon)
– MaryXML-Struktur auf jede Ebene des Prozesses zugreifbar / erweiterbar
• Explizite Ausspracheangaben (Kaffeedomäne)
• Beeinflussung der Intonation mit GToBI (Notationssystem)
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
Generierung und Synthese
• Routengraphen
Sprachgenerierung und -synthese (Kurzer Einblick)
<?xml version="1.0" encoding="UTF-8"?><maryxml xmlns="http://mary.dfki.de/2002/MaryXML"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance„
version="0.3" xml:lang="de"><prosody rate="+10%" pitch="+10%">
Ihr <t sampa="ka-’fee">Kaffee</t> ist fertig!</prosody>
</maryxml>
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
Generierung und Synthese
• Routengraphen
Sprachgenerierung und -synthese (Kurzer Einblick)...<prosody pitch="+10%" rate="+10%"> <paragraph> <sentence> <phrase> <t g2p_method="lexicon" pos="PPOSAT"
sampa="’?i:6" syn_attach="1" syn_phrase="NP"> Ihr </t> <t accent="L+H * " pos="NN" sampa="ka-’fee"
syn_attach="0" syn_phrase="NP"> Kaffee </t> <boundary breakindex="3" tone="H-"/>
....
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Routengraphen für die Ebene 8 (MZH)
a)B: Wo finde ich das Büro von BKB?K: Raum 8071. Gehen Sie hier raus, dann gleich
nach links. Ganz am Ende sehen Sie eine Tür, das Bürovon BKB ist die Tür daneben.
b)B: Wie finde ich das Büro von xxx? (xxx ist ein
Student, hat aber kein Büro.)K: Entschuldigung, ich habe Sie nicht richtig
verstanden. Können Sie es noch einmal versuchen?
B: Wie finde ich das Büro von xxx?K: Es tut mir leid, die Person ist nicht in der
Datenbank gespeichert.
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Routengraphen für die Ebene 8 (MZH)
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Routengraphen für die Ebene 8 (MZH)
• Überblick Software• Bestellungsver-
waltungsprozess• Dialogmanagement• Simulation• Sprachverarbeitung
Verschiedene Arbeitsphasen
• Routengraphen
Routengraphen für die Ebene 8 (MZH)
top related