information und kommunikation hartmut klauck universität frankfurt ss 07 11.5
Post on 05-Apr-2015
103 Views
Preview:
TRANSCRIPT
Information und Kommunikation
Hartmut KlauckUniversität Frankfurt
SS 0711.5.
Information & Kommunikation 8
2
Berechnung des Fehlers
• Der Fehler setzt sich zusammen aus zwei Ereignissen:– W‘ ist falsch– W‘ ist nicht eindeutig
• Wir berechnen den erwarteten Fehler über alle Codes
• E sei das Ereignis, dass bei zufälligem Code und zufälligem W ein Fehler entsteht
• Pe(K) sei die Fehlerws. auf Code K bei typical-set-decoding, Prob(K) die Wahrscheinlichkeit, Code K zu ziehenW(K) ist die Fehlerwahrscheinlichkeit für festes W,K (abhängig vom Kanal)
Information & Kommunikation 8
3
Berechnung des Fehlers
• Es gilt
Information & Kommunikation 8
4
Berechnung des Fehlers
• Denn: aufgrund der Symmetrie bei der Konstruktion des Codes K hängt der Fehler nicht von W ab, daher betrachten wir nur W=1
• D.h. im folgenden betrachten wir die Situation W=1, K(1) wird über den Kanal geschickt für denn zufälligen Code K, Y1,…,Yn ist die Ausgabe des Kanals
Information & Kommunikation 8
5
Berechnung des Fehlers
• K(i) sei der Code von Nachricht i• Wir definieren Ereignisse
– Ei={i: K(i),Y1,…,Yn liegt in A}
• Ein Fehler geschieht wenn– E1 nicht eintritt (Ausgabe ist nicht
gemeinsam typisch mit K(1), das heißt wir dekodieren nicht zu 1)
– E2[…[ E2nR geschieht (ein anderes W‘‘ erfüllt, dass K(W‘‘), Y1,…,Yn in A liegt)
Information & Kommunikation 8
6
Berechnung des Fehlers
• Damit gilt:
• Aber:
Information & Kommunikation 8
7
Berechnung des Fehlers
• Gemäß der Codekonstruktion sind K(1) und K(j) paarweise unabhängig
• Daher sind auch Y1,…,Yn und K(i) paarweise unabhängig für i>1
• Die Wahrscheinlichkeit, dass K(i) und Y1,…,Yn gemeinsam typisch sind, ist daher durch 2-n(I (X:Y)-3) beschränkt
Information & Kommunikation 8
8
Berechnung des Fehlers
• Daher gilt:
– für genügend gr. n, wenn R<C-3
Information & Kommunikation 8
9
Zusammenfassung• Wir erhalten, dass im Durchschnitt über alle Codes der
Fehler klein ist• D.h. es gibt mindestens eines Code K*, der kleinen
erwarteten Fehler hat• Pe(K*)· 2• K* kann im Prinzip durch Suchen bestimmt werden
• Es gilt nun, dass höchstens die Hälfte aller Codeworte in K* zu i2{1,…,2nR} mit Fehler i (K*) ¸ 4 gehören
• Wenn wir die schlechten Codeworte entfernen, erhalten wir einen Code mit Fehler 4 im worst case
• Die Rate sinkt dadurch von R auf R-1/n• Wir erhalten einen Code mit maximalem Fehler 4 und Rate
C-3n
Information & Kommunikation 8
10
Zusammenfassung
• Da wir beliebig klein wählen können, gilt, dass jedes R<C erreichbar ist.
• Zufallscodes sind sehr effektiv was die Rate angeht, aber Sie können im wesentlichen nur durch eine Liste ihrer Codeworte beschrieben werden
• Zufallscodes sind schwer zu dekodieren: Maximum-Likelihood Decoding ist langsam für solche Codes
Information & Kommunikation 8
11
Der zweite Teil
• Wir wollen nun zeigen, dass alle Raten > C nicht erreichbar sind.
• Genauer gesagt, zeigen wir folgendes:– Gegeben eine Folge von (2Rn,n)-Codes
für einen Kanal mit Kapazität C– Wenn der (worst case) Fehler gegen 0
geht, gilt R· C
Information & Kommunikation 8
12
Codes ohne Fehler
• Wir betrachten zuerst den Fall von Codes mit Fehler 0, d.h. Pe=0
• Die Ausgabe des Dekodierers ist immer gleich der Nachricht W
• Dann gilt H(W|Y1,…,Yn)=0• Wir nehmen an, dass W uniform auf
{1,…,2Rn} verteilt ist• Damit gilt H(W)=nR• [* zeigen wir später]
Information & Kommunikation 8
13
Codes ohne Fehler
Information & Kommunikation 8
14
Codes mit Fehler
• Wir verwenden Fanos Ungleichung• W ist uniform aus {1,…,2Rn}
• W‘=D(Y1,…,Yn) ist die Ausgabe des Dekodierers
• Pe=Prob(W W‘)
• E mit E=0 wenn W=W‘; E=1 wenn WW‘ sei eine neue Zufallsvariable
Information & Kommunikation 8
15
Codes mit Fehler
Information & Kommunikation 8
16
Codes mit Fehler
• Zusammengefasst:– Fanos Ungleichung:
Für einen (2Rn,n)-Code K giltH(K(W)|Y1,…,Yn)· 1+Pe nR
Information & Kommunikation 8
17
Codes mit Fehler
• Wir zeigen nun ein Lemma zu Kapazität • Lemma 8.1
– Seien X1,…,Xn gemäß irgendeiner Verteilung gewählt, und dann in den n-fachen Produktkanal eines gedächtnislosen Kanals mit Kapazität C gegeben
– Y1,…,Yn sei die Ausgabe
– Dann gilt I(X1,…,Xn : Y1,…,Yn )· nC
Information & Kommunikation 8
18
Beweis
Information & Kommunikation 8
19
Beweis
• Dabei gilt * wegen der Gedächtnislosigkeit des Kanals:– Yi ergibt sich aus Xi mittels des Kanals
– Wenn über Xi konditioniert wird, ist Yi unabhängig von den anderen Xj und Yj
Information & Kommunikation 8
20
Codes mit Fehler
• Wir können den Beweis nun abschließen
• Angenommen Pe geht gegen 0 mit großen n
Information & Kommunikation 8
21
Codes mit Fehler
• R· Pe R +1/n+C• Die ersten beiden Terme gehen gegen 0,
daher folgt R· C• Wir erhalten ebenfalls:• Pe¸ 1-C/R-1/(nR)
– d.h. wenn R größer als C ist, erhalten wir substantiellen Fehler
• Tatsächlich geht der Fehler für alle R>C gegen 1 (anderer Beweis notwendig)
• Es gibt für manche Kanäle Codes, die genau C erreichen
top related