unterscheidendes syntaktisches reranking für smtkaeshammer/smt... · 2015. 2. 9. · 2006,...
TRANSCRIPT
![Page 1: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/1.jpg)
Diskriminatives syntaktisches Reranking für SMT Fortgeschrittene Themen der statistischen maschinellen Übersetzung Janina Nikolic
![Page 2: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/2.jpg)
Agenda
Problem: Ranking des SMT Systems
Lösung: Reranking-Modell
Nutzung Perzeptron-Algorithmus
Besonderheit: syntaktische Merkmale
Evaluation
2
![Page 3: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/3.jpg)
Problemstellung Komponenten der SMT Systeme:
Übersetzungsmodell, Sprachmodell, Reordering Modell
Ziel: Verbesserung des Sprachmodells
Ausgangspunkt: SMT System liefert als Output eine Liste der besten n Übersetzungen
Problem: Ranking nicht immer das Beste
3
![Page 4: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/4.jpg)
„Der Himmel wird morgen blau
sein“
The sky blue tomorrow
The sky will be blue tomorrow
Sky will be blue tomorrow
4
![Page 5: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/5.jpg)
Lösung: Reranking
Beste Übersetzung
Reranking Algorithmus
SMT System
5
![Page 6: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/6.jpg)
Reranking durch Klassifikation
6
Klassifizierte
Stichprobe Modell
Nicht klassifizierte
Datensätze
?
?
Lernen
(Training)
Anwenden
auf
Da
ten
sätze
Merkmale
Klasse
![Page 7: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/7.jpg)
Was wird klassifiziert?
Daten werden Klasse zugeordnet
Daten: übersetzte Sätze aus der Liste (bzw.
deren Merkmale)
Entspricht Referenzübersetzung (oracle best)
Klasse 1, sonst Klasse 0
Merkmale durch Merkmalsvektor repräsentiert
Anpassbare Gewichtungen für jedes Merkmal
(Gewichtungsvektor): Wie entscheidend ist
ein Merkmal für eine gute Übersetzung?
7
![Page 8: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/8.jpg)
Beispiel Gegeben: Trainingsmenge
Gesucht: Gewichtsvektor, der die Trainingsmenge korrekt klassifiziert
8
![Page 9: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/9.jpg)
Diskriminatives Sprachmodell
(DLM)
9
Input: Liste der n-besten Übersetzungen
Extraktion syntaktischer Merkmale jedes Satzes,
Kodierung in Merkmalsvektor
Perzeptron-Algorithmus
Ausgabe: Gewichtungsvektor
Reranking der Liste
Ausgabe des
SMT Systems
durch
Parsbäume
oder POS-
Tagger
Auswahl der besten
Übersetzung
Vergleich der
Merkmale mit
Referenzsatz
![Page 10: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/10.jpg)
Merkmalsvektoren
Beschreiben die syntaktischen
Eigenschaften der Sätze: enthält ein Verb,
Verb Agreement etc.
Trainingsdaten, mit denen Modell gelernt
wird
Testdaten, die klassifiziert werden
Jeder Merkmalsvektor gehört
ausschließlich zu einer Klasse
10
![Page 11: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/11.jpg)
Wie werden die
syntaktischen Merkmale
extrahiert?
11
![Page 12: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/12.jpg)
Merkmalsextraktion
12
Vollständige Parsbäume
POS Sequenzen
![Page 13: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/13.jpg)
Parsbäume
Drei Arten von syntaktischen
Informationen werden extrahiert
Informationen über Sequenzen
Head-Informationen (Head = Kern einer
Phrase)
Kontextfreie Grammatikregeln
(Informationen über NT-Folgen)
13
![Page 14: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/14.jpg)
Beispiel Parsbaum
14
S
NP
DT
The
NNP
sky
VP
MD
will
VP
VB
be
ADVP
JJ
blue
RB
tomorrow
![Page 15: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/15.jpg)
Unterscheidung von
Sequenzen
POS The/DT sky/NNP will/MD be/VB blue/JJ tomorrow/RB
SEQ-B: Teilstrukturen (chunks) The/NPb sky/NPc will/VPb be/VPb blue/ADVPb tomorrow/ADVPc
SEQ-C: Kombination der ersten beiden Strukturen The/DT-NPb …
15
![Page 16: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/16.jpg)
POS Tagger
Zwei Tagging-Ansätze
Conditional Random Fields
Einfacher Unigramm-Tagger
Nutzt keinen Kontext
<UNK> als Tag für unbekannte Wörter
16
![Page 17: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/17.jpg)
Beispiele für Merkmale
Abfolgen von POS-Tags
Häufigkeit von POS-Typen für eine
bestimmte Satzlänge:
length(x)/num(POS,x)
Fehlen gewisser POS-Typen (z.B. Verb)
Verb Agreement („George was shouting
and screaming“)
17
![Page 18: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/18.jpg)
Merkmalsextraktion
erfolgreich – Was nun?
18
![Page 19: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/19.jpg)
Perzeptron-Algorithmus
Künstliches neurales Netz mit anpassbaren Gewichtungen und Schwellwert
Bildet biologisches Nervensystem nach (ein Neuron)
Eingabe: Merkmalsvektor eines übersetzten Satzes
Aufgabe: Lernen des optimalen Gewichtungsvektors aus den Trainingsbeispielen
19
![Page 20: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/20.jpg)
Perzeptron-Algorithmus
Zu Beginn Gewichtungsvektor 0
Bestimmung der besten Übersetzung (oracle
best) hinsichtlich BLEU
ausgewählter Satz aus der Liste: Skalarprodukt
aus Merkmalsvektor und Gewichtungsvektor
Wenn ausgewählter Satz mit oracle best Satz
übereinstimmt, fertig (Wert größer als
Schwellenwert)
Sonst: Gewichtungsvektor wird angepasst
20
![Page 21: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/21.jpg)
Perzeptron-Algorithmus
yi: oracle best
zi: ausgewählter Satz der Liste
zi = ɸ(z) * ω
wenn zi ≠ yi Anpassung Gewichtsvektor
21
Merkmalsvektor Gewichtsvektor
![Page 22: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/22.jpg)
Anpassung Gewichtsvektor
ω = ω + ɸ(yi) - ɸ(zi)
22
Neue
Gewichtung
Alte
Gewichtung
Änderung:
gewünschte
Ausgabe –
tatsächliche
Ausgabe
![Page 23: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/23.jpg)
Reranking
Jeder Satz der n-best Liste erhält einen
neuen Score, der sich folgendermaßen
ergibt:
Gewichteter Score des SMT-Systems für
den Satz + Gewichtsvektor *
Merkmalsvektor
Satz mit dem höchsten Score wird als
beste Übersetzung ausgewählt
23
![Page 24: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/24.jpg)
Evaluation
Wie effektiv sind die verschiedenen
syntaktischen Merkmale?
Evaluierung von Arabisch-zu-Englisch
Übersetzungen
Testsets von NIST‘s MT-Eval von 2002 bis
2006, bezeichnet als MT02 bis MT06
Baseline SMT System: Moses
24
![Page 25: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/25.jpg)
Evaluation - Genauigkeit der
POS Tagger
25
POS Accuracy
CM2 (für Development und Test
Sets)
94.4%
CRF (Conditional Random Fields) 97.0%
S-POS (simple tagger) 86.8%
![Page 26: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/26.jpg)
Evaluation - Baseline
Ergebnisse (BLEU)
26
MT04 MT05 MT06
Moses 48.97 53.92 38.40
+ DLM n-gram 49.57 54.42 39.08
Oracle 61.06 66.34 50.11
![Page 27: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/27.jpg)
Evaluation – nach Merkmalen
der Parsbäume
MT04 MT05 MT06
Moses 48.97 53.92 38.40
+ DLM n-gram 49.57 54.42 39.08
+ n-gram + POS 49.47 54.48 39.07
+ n-gram + SEQ-B 49.09 54.11 39.47
+ n-gram + SEQ-C 49.46 54.19 39.07
+ n-gram + CFG 49.53 54.44 39.58
+ n-gram + H 49.44 54.09 33.45
27
![Page 28: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/28.jpg)
Evaluation - Anteil an Sätzen,
die einen Parse haben
# Sätze p.p.s%
MT0203 1282287 87.3%
MT04 1075563 81.9%
MT05 744049 82.6%
MT06 1526170 80.7%
28
![Page 29: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/29.jpg)
Evaluation – Merkmale von
POS Taggern und POS-
Annotationen des Parsbaums
MT04 MT05 MT06
DLM n-gram 49.57 54.42 39.08
DLM n-gram + POS 49.47 54.48 39.07
Verbesserung -0.10 0.06 -0.01
DLM n-gram + CRF
49.74 54.51 39.45
Verbesserung 0.17 0.09 0.37
DLM n-gram + S-POS
49.59 54.60 39.48
Verbesserung 0.02 0.18 0.40
29
![Page 30: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/30.jpg)
Evaluation – POS Tag
Häufigkeit, Fehlen von POS
Typen, Verb Agreement
MT04 MT05 MT06
+ DLM n-gram 49.57 54.42 39.08
+ S-POS+vn+dn 49.65 54.60 39.67
+ S-POS+allnum 49.65 54.60
39.67
+ S-POS+noall 49.70 54.46 39.69
+ S-POS+verbagr 49.44 54.56 39.55
30
![Page 31: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/31.jpg)
Evaluation – n-Gramm
Precision
Task System n-gram Precision (%)
1 2 3 4
MT04 n-gram
+ Syntax
81.86
81.76
58.36
58.48
41.72
41.92
30.28
30.43
Verbesserung (%) -0.1% 0.2% 0.5% 0.5%
MT05 n-gram
+ Syntax
81.31
83.28
62.74
62.96
47.20
47.43
35.54
35.74
Verbesserung (%) -0.04% 0.3% 0.5% 0.6%
MT06 n-gram
+ Syntax
74.43
74.31
47.84
47.92
31.75
31.87
21.50
21.58
Verbesserung (%) -0.2% 0.2% 0.4% 0.4%
31
![Page 32: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/32.jpg)
Fazit
Nutzen syntaktischer Merkmale
Nutzen einfacher POS Tagger
Signifikante Verbesserungen
Zukünftig: mögliche Nutzung von partiellen Parsern weniger
Informationen als bei Fullparsern, aber
mehr als bei POS Taggern
32
![Page 33: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/33.jpg)
Vielen Dank!
33
![Page 34: Unterscheidendes syntaktisches Reranking für SMTkaeshammer/smt... · 2015. 2. 9. · 2006, bezeichnet als MT02 bis MT06 Baseline SMT System: Moses 24 . Evaluation - Genauigkeit der](https://reader036.vdokument.com/reader036/viewer/2022062607/60419dd2876d866e57079fec/html5/thumbnails/34.jpg)
Quellen
Discriminative Syntactic Reranking for Statistical Machine Translation, S. Carter & C. Monz, AMTA 2010
http://www.cs.uni-paderborn.de/fileadmin/Informatik/AG-Kleine-Buening/files/ws11/ml11/folien-neuronale-netze.pdf
http://www.cs.jhu.edu/~zfli/pubs/discriminative_lm_for_smt_zhifei_amta_08.pdf
34