Dr.-Ing. Elke Franz elke.franz@tu-dresden › ... › studium › materialien › mat_ikt ›...

Einführung Informationsquellen Kodierung diskreter Quellen Übertragungskanal Kanalkodierung

Informations- und Kodierungstheorie

Dr.-Ing. Elke [email protected]

Foliensatz: Dr.-Ing. Dagmar Schönfeld

SS 2020

SS 2020 Informations- und Kodierungstheorie 1


Organisatorisches

Was Sie wissen sollten:Einschreibung in jExam (Vorlesung und Übung) und OPALFolienskript komplett im NetzSkript enthält keine Beispiellösungen!Beispiele werden an der Tafel vorgerechnet bzw. sind im Begleitbuchzu findenErgänzende/Vertiefende Folienvorlagen zur Vorlesung werden imNetz bereitgestelltZur Klärung von Fragen: Übung, E-Mail, APB 3069Begleitbuch:D. Schönfeld, H. Klimant, R. Piotraschke.Informations- und Kodierungstheorie. 4. Aufl., Springer, 2012.(im Anhang weiterführende Literatur zu finden)Klausur: handgeschriebenes Formelblatt einseitig A4,

Taschenrechner



Gegenstand der Informations- und Kodierungstheorie

Informations- und Kodierungstheorie

C.E. Shannon (1948)1 R.W. Hamming (1950)2

Informationstheorie setzt sich mit zwei Problemstellungen auseinander:Inwieweit lässt sich Information kompakt darstellen?Inwieweit überträgt man Information „fehlerfrei“ (quasi fehlerfrei)?

→ Informationstheorie begründet die Grenzen, was ist erreichbar, was nicht(Zwei Kodierungstheoreme, SHANNON-Grenze „fehlerfreier“ Übertragung)

→ Kodierungstheorie konstruiert praktikable Umsetzungen(weniger komplexe Algorithmen, die sich den Grenzen annähern)

1C.E. Shannon. A Mathematical Theory of Communication. BSTJ 27(1948)379-423, 623-6562R.W. Hamming. Error Detecting and Correcting Codes. BSTJ 29(1950)147-160



Information

Statistischer Aspekt

Semantischer Aspekt (Bedeutung der Information)

Pragmatischer Aspekt (Nutzen für den Informationsempfänger)→ Statistische Informationstheorie

Quelle Kodierer Übertragungskanal Dekodierer Senke

Störung

Information ist beseitigte Unbestimmtheit

Das Maß dieser Unbestimmtheit ist äquivalent der Ermittlung derInformationsmenge.



Systematisierung


Störung

diskrete Quellen

Einzelquellen Verbundquellen

kontinuierliche Quellen

Informationsquellen

Quellen mitabhängigen Ereignissen

Quellen mitunabhängigen Ereignissen (MARKOW−Quellen)



Quellen mit unabhängigen Ereignissen

Definition 2.1Eine Quelle mit dem Alphabet

X = {x1, x2, ..., xN }

und der Verteilung der zugehörigen Auftrittswahrscheinlichkeiten

(p(xi)) = (p(x1), p(x2), ..., p(xN )) , 0 ≤ p(xi) ≤ 1 ,

wobeiN∑

i=1p(xi) = 1 ,

wird als diskrete Quelle mit unabhängigen Ereignissen bezeichnet.

Die Unbestimmtheit (der Informationsgehalt) eines Ereignisses xi ist

Hi = log 1p(xi)

= −log p(xi), im Weiteren Hi = ld 1p(xi)

= −ld p(xi).



(Quellen)Entropie

Für Hi (i = 1, 2, ..., N) gilt dann:

H1 = ld 1p(x1) , H2 = ld 1

p(x2) , ... , HN = ld 1p(xN ) .

Gewichteter Mittelwert HQ = Hm:

Hm =N∑

i=1p(xi) Hi =

N∑i=1

p(xi) ld1

p(xi)= −

N∑i=1

p(xi) ld p(xi)

Hm (Quellen)Entropie, gleichzeitig mittlerer Informationsgehaltin bit/Ereignis, bit/Messwert, bit/(Quellen-)Zeichen = bit/QZ u. ä.

Beispiel N = 2 , (p(xi)) = (p(x1), p(x2)) = (1 0)→ sicheres, unmögliches Ereignis −→ HQ?

Warum log bzw. ld, d. h. Anwendung des logarithm. Informationsmaßes?



Maximalwert der Entropie

Sonderfall der Gleichverteilung:

p(xi) = 1N

für alle i

HQ = H0 = ld N

→ Maximalwert der Entropie oder Entscheidungsgehalt der Quelle→ Beweis

Definition 2.2Der Entscheidungsgehalt von zwei unabhängigen und gleichwahrscheinlichenEreignissen einer Quelle

H0 = ld 2 = 1 bit

Ereignis

wird als Einheit der Informationsmenge bezeichnet.

[Begleitbuch, S. 1 - 20]



MARKOW-Quellen

MARKOW-Quellen: diskrete Quellen mit abhängigen EreignissenDas Ereignis x(m+1) tritt unter der Bedingung ein, dass ganz bestimmteEreignisse x(1), x(2), ..., x(m) bereits eingetreten sind.Die Auswahl des Ereignisses x(m+1) erfolgt demnach mit der bedingtenWahrscheinlichkeit

p(x(m+1)|x(m)... x(2) x(1)) .

MARKOW-Quellen erster Ordnung:

p(x(m+1)|x(m)) ,

wofür wir im Folgenden schreiben

p(xj |xi) (i, j = 1, 2, ..., N) .



MARKOW-Quellen

Definition 2.3Eine MARKOW-Quelle ist das mathematische Modell einerInformationsquelle, bei dem die aufeinanderfolgende Auswahl von Ereignissen,d. h. die Folge der Zustände, sowohl von der momentanen Verteilung derAuftritts- bzw. Zustandswahrscheinlichkeiten als auch von der Verteilung derÜbergangswahrscheinlichkeiten abhängt.

Zustandsgraph einer binären MARKOW-Quelle erster Ordnung

1

1

2

( | )( | )1

2

1

21( | )

2

( | )

2p

x

p

x

xx x

x

p xx

p xx



MARKOW-Kette

p(x

p(x

p(x

p(x

p(x

p(x

p(x

p(x

N

1

2

i

j

1

) N

2

)

)

)

)

)

)

)

i|xjp(x )...

......

......

...

Zeitt t+1

Nach dem Satz von der vollständigen Wahrscheinlichkeit gilt:

p(xj)(t+1) =N∑

i=1p(xi)(t) p(xj |xi) (j = 1, 2, ..., N) .



Entropie von MARKOW-Quellen

Unbestimmtheit, die in den Übergangsmöglichkeiten von einem beliebigen xi

zu allen xj (j = 1, 2, ..., N) liegt:

Hi =N∑

j=1p(xj |xi) ld 1

p(xj |xi)

Gewichteter Mittelwert über alle xi (i = 1, 2, ..., N):

HQ =N∑

i=1p(xi) Hi

Die Entropie wird für den stationären Fall p(xi) = p(xi) alsMARKOW-Entropie HM bezeichnet:

HQ = HM =N∑

i=1

N∑j=1

p(xi) p(xj |xi) ld 1p(xj |xi)

in bit

Zustand.




Verbundquellen

Wir betrachten gleichzeitig zwei diskrete Quellen X und Y mit denzugehörigen Verteilungen der Auftrittswahrscheinlichkeiten:

(p(xi)) = (p(x1), p(x2), ..., p(xN )) der Ereignisse xi ∈ X

und(p(yj)) = (p(y1), p(y2), ..., p(yM )) der Ereignisse yj ∈ Y .

AnnahmenDie Ereignisse innerhalb jeder Einzelquelle sind voneinander unabhängig.Ein Ereignis in der Quelle X hat ein bedingtes Ereignis in der Quelle Ymit der bedingten Wahrscheinlichkeit p(yj |xi) zur Folge.

Das Auftreten von zwei Ereignissen xi und yj bezeichnet man alsVerbundereignis (xi, yj) . Es tritt mit der Verbundwahrscheinlichkeitp(xi, yj) = p(xi) · p(yj |xi) auf.



Verbundquellen

Definition 2.4Die diskreten Quellen X und Y mit den Verbundwahrscheinlichkeiten p(xi, yj)

(i = 1, 2, ..., N), (j = 1, 2, ..., M) ,N∑

i=1

M∑j=1

p(xi, yj) = 1 , bilden eine

Verbundquelle (X, Y ).

Verbundentropie H(X, Y ):

H(X, Y ) =N∑

i=1

M∑j=1

p(xi, yj) ld 1p(xi, yj)

Nach einigen Umformungen:

H(X, Y ) =N∑

i=1p(xi) ld 1

p(xi)+

N∑i=1

M∑j=1

p(xi) p(yj |xi) ld 1p(yj |xi)︸︷︷︸

H(X)︸︷︷︸

H(Y |X)

Bedingte Entropie



Verbundquellen

Beispiel (p(xi, yj)) =

18

18 0 0

18 0 0 018 0 0 018

18

18

18

N∑i=1

M∑j=1

p(xi, yj) = 1

• p(xi) =M∑

j=1p(xi, yj) (i = 1, 2, ..., N) : (p(xi)) = ( 1

418

18

12 )

• p(yj) =N∑

i=1p(xi, yj) (j = 1, 2, ..., M) : (p(yj)) = ( 1

214

18

18 )

→ H(X) = H(Y ) = 74

bitEreignis

• ∀i, j. p(xi, yj) = p(xi) · p(yj |xi) = p(yj) · p(xi|yj) :

(p(yj |xi)) =

12

12 0 0

1 0 0 01 0 0 014

14

14

14

; (p(xi|yj)) = ?

→ H(Y |X) = 54

bitEreignis

; H(X|Y ) = ?

• H(X, Y ) = 3 bitV erbundereignis



Darstellung der Verbundentropie – VENN-Diagramm

H(X, Y ) = H(X) + H(Y |X)H(X, Y ) = H(Y ) + H(X|Y )

AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

H(X|Y)

H(X,Y)

H(Y|X)

H(Y)

H(X)

Folgende Schranken gelten für die bedingten Entropien:H(Y |X) ≤ H(Y ) und H(X|Y ) ≤ H(X)



Grenzfälle der Abhängigkeiten beider Quellen

a) Vollständige Unabhängigkeit:

Bei unabhängigen Ereignissen gilt p(yj |xi) = p(yj) , d. h.

H(Y |X) = H(Y ) und damit

H(X, Y ) = H(X) + H(Y ) .

H(X) H(Y)



Grenzfälle der Abhängigkeiten beider Quellen

b) Vollständige Abhängigkeit:

Bei vollständig abhängigen Ereignissen hat jede Zeile in (p(yj |xi))ein sicheres Folgeereignis, d. h.

H(Y |X) = 0 und damit

H(X, Y ) = H(X) .

H(Y) H(X)



Spezielle Verbundquelle (X, X)

→ Quelle mit zwei identischen Ereignismengen

H(X) H(X)

H(X|X) = HM

In diesem Fall gilt für die VerbundentropieH(X) ≤ H(X, X) ≤ 2 · H(X) .

HM = H(X, X) − H(X) ={

H(X) bei vollständiger Unabhängigkeit0 bei vollständiger Abhängigkeit




Kodierung diskreter Quellen


Störung

Unter Kodierung wird i. Allg. ein Vorgang verstanden, bei dem die Elementeeines Alphabets auf die Elemente eines anderen Alphabets (bzw. auf Wörterüber diesem Alphabet) eineindeutig abgebildet werden.Für die Kodierung diskreter Quellen bedeutet dies:Jedes Element des Quellenalphabets X wird einem Element des KanalalphabetsU bzw. einem Wort über U eineindeutig zugeordnet.

Aus praktischen (technischen) Erwägungen beschränken wir uns auf dieBinärkodierung, d. h.U = {0, 1} .




Quellenkodierung (Optimalkodierung, Kompression)

ist die erste Stufe der Kodierung, bei der die eineindeutige Darstellung derQuelleninformation in einer realisierbaren, möglichst redundanzfreien oderredundanzarmen Form erfolgen soll.

→ verlustfreie Quellenkodierung (Redundanzreduktion)

[ → verlustbehaftete Quellenkodierung (Irrelevanzreduktion) ]

Kanalkodierung,

die sich meistens an die Quellenkodierung anschließt, dient dem Zweck desStörungsschutzes (Schutz gegen zufällige Veränderungen, z. B. durchÜbertragungs/Speicherungsfehler).Sie macht erst quasi fehlerfreie Übertragung/Speicherung möglich.Notwendig: Hinzufügung von Redundanz in Form von zusätzlicherKontrollinformation (Kontrollstellen).




Kry

ptog

raph

ie

SenkeY

QuelleX kodierer

dekodierer

Kanal

Übertra

mit zusätzlicherRedundanz zum

mit zusätzlicher

gungskanal

Redundanz zumStörungsschutz

Kanal

Störungsschutz

kodiererQuellen

dekodiererQuellen

redundanzfreioder redundanzarm



Dekodierbarkeitsbedingung

Definition 3.1Ein ungleichmäßiger Kode, bei dem kein Kodewort den Anfang (Präfix) einesanderen Kodewortes darstellt, wird als präfixfreier Kode bezeichnet(hinreichende Bedingung für Eineindeutigkeit).

Kodebaum – Darstellungsmöglichkeit eines (Quellen-)Kodes

0

0 0 0

0

1 1 1 1

1

0

0

1

1

01 01 1 01 1 1

Komma-kode:

Endknoten=

1

2

3

=

=

=l

l

l

lmax

2

1

3

Von L.G. KRAFT gefundene UngleichungN∑

i=12−li ≤ 1

ist eine notwendige Bedingung für die Dekodierbarkeit.



Kodewortlänge und Koderedundanz

Kodewortlänge

• l = ⌈ld N⌉ gleichmäßiger Kode (allg.: l = ⌈ ld N[HK ] ⌉)

HK : Entropie am Kanaleingang des Übertragungskanals

• lm =N∑

i=1p(xi) li ungleichmäßiger Kode

Schranken

• lm ≥ Hm dekodierbarer Kode

• Hm ≤ lm < Hm + 1 redundanzarme Kodierung

• lm = Hm redundanzfreie Kodierung (Möglich?)

p(xi) = 2−li

RK = l(m) [·HK ] − HQ ≥ 0 Koderedundanz



Erstes SHANNONsches Kodierungstheorem

Das erste SHANNONsche Kodierungstheorem besagt:

Redundanzfreie Kodierung ist auch für p(xi) = 2−li möglich.Man nimmt eine m-fache Erweiterung der Quelle vor, d. h., die Quellenzeichenwerden nicht einzeln, sondern in Blöcken von m Quellenzeichen kodiert.

m Hm ≤ m lm < m Hm + 1

Hm ≤ lm < Hm + 1m

Im Folgenden: Verfahren der Optimalkodierung→ Verfahren der (annähernd) redundanzfreien Kodierung→ Grundlage bilden N, (p(xi)), (p(xj |xi)), deshalb auch Entropiekodierung



Optimalkodierung: SHANNON-FANO-Verfahren (1949)

1. Ordnen der zu kodierenden Quellenzeichen nach fallenden Werten derAuftrittswahrscheinlichkeiten

2. Teilen des geordneten Wahrscheinlichkeitsfeldes in zwei Gruppen; dieTeilsummen der Wahrscheinlichkeiten in jeder Gruppe sollten möglichstgleich groß sein.Aufgrund dieses Teilungsprinzips enthält jeder Teilungsschritt und da-mit jedes Kodewortelement die größte Entropie bzw. Informationsmen-ge.

3. Kodieren nach dem Prinzip, dass der ersten Gruppe immer einheitlichdas Zeichen 0 (bzw. 1) und der zweiten Gruppe immer einheitlich dasZeichen 1 (bzw. 0) zugeordnet wird.

4. Wiederholen der Schritte 2. und 3.; solange, bis jede Teilgruppe nurnoch ein Element enthält.

Beispiel (p(xi)) = (0, 11 0, 30 0, 16 0, 25 0, 06 0, 06 0, 06), lm = ?



Optimalkodierung: HUFFMAN-Verfahren (1952)

1. Ordnen des gegebenen Wahrscheinlichkeitsfeldes nach fallenden Wer-ten.

2. Zusammenfassen der letzten zwei Wahrscheinlichkeiten (die mit denkleinsten Werten) zu einem neuen Wert.

3. Erneutes Ordnen des reduzierten Wahrscheinlichkeitsfeldes entspre-chend Schritt 1.

4. Wiederholen der Schritte 2. und 3. solange, bis die Zusammenfassungder beiden letzten Elemente den Wert 1 ergibt.

5. Aufstellen eines Kodebaumes entsprechend dem Reduktionsschemaund Zuordnung der Kodesymbole 0 und 1.

Beispiel

(p(xi)) = (0, 11 0, 30 0, 16 0, 25 0, 06 0, 06 0, 06) , lm = ?



HUFFMAN-Verfahren: Ablauf

x2 x4 x3 x1 x5 x6 x70,30 0,25 0,16 0,11 0,06 0, 06 0, 06︸︷︷︸0,30 0,25 0,16 0,12 0, 11 0, 06︸︷︷︸0,30 0,25 0,17 0, 16 0, 12︸︷︷︸0,30 0,28 0, 25 0, 17︸︷︷︸0,42 0, 30 0, 28︸︷︷︸0,58 0,42︸︷︷︸1

x51x

4x2x

3x

7x6x

1

0,11

0,17 0,25

0,42 0,58

0,06

0,06 0,06

0,12 0,16

0,28 0,30

x5

x

1

6 x7

x3

x2

x4

x

=1001

=101

=11=01

=001

=1000

=000

1

0

0

0

0

0

1

1

10

1

1

lm = 2, 57 KZQZ



Erweiterte Quelle

Beispiel m-fache Erweiterung der QuelleEine Binärquelle sei mit p(0) = 0, 8 gegeben.Aufzeigen der Reduzierung von RK mit Erhöhung der Blocklänge von m = 1auf m = 2, 3 (Grundlage: SHANNON-FANO)!

Berücksichtigung von (p(xj |xi))?

Beispiel Beispiel aus Abschnitt zu MARKOW-Quellen

(p(xi)) = (0, 25 0, 25 0, 5) , (p(xj |xi)) → HM = 1, 27 bitQZ

(p(xj |xi)) =

(0, 5 0, 2 0, 30, 1 0, 6 0, 30, 2 0, 1 0, 7

)A∗

1 = {0, 11, 10}, lm,1 = 1, 5 KZQZ

A∗2 = {11, 0, 10}, lm,2 = 1, 4 KZ

QZ

A∗3 = {10, 11, 0}, lm,3 = 1, 3 KZ

QZ

, HQ,1 = 1, 48 bitQZ

, HQ,2 = 1, 30 bitQZ

, HQ,3 = 1, 16 bitQZ

HQ = HM =∑

i

p(xi) HQ,i ; lM =∑

i

p(xi) lm,i = 1, 37 KZQZ

→ RK = 0, 10 bitQZ

Andere Möglichkeiten• LEMPEL-ZIV(-WELCH) (1977)• Arithmetische Kodierung (1979)[Begleitbuch, S. 40 - 59]



Übertragungskanal: Störungen


Störung

Störungen• Störungen durch Betriebsmittel (z. B. Unterbrechungen durch

Vermittlungseinrichtungen)• Störungen aus dem Umfeld (z. B. Beeinflussungen durch

Starkstromleitungen, magnetische Streufelder)• thermisches Rauschen der Bauelemente des Übertragungskanals• Funkkanäle: Mehrwegeausbreitung (reflektierende Objekte),

kurzzeitige Abschattungen, NachbarkanalbeeinflussungenTrotzdem: Quasi fehlerfreie ÜbertragungIm Folgenden nur Betrachtungen aus Sicht der Informationsübertragung!



BERGERsches Entropiemodell des ÜbertragungskanalsVorlesung Informations- und Kodierungstheorie 31

BERGERsches Entropiemodelldes Übertragungskanals:

HTQuelleX Y

SenkeH(Y)

H(X)

H(Y|X)

H(X|Y)

H(X) Entropie am Kanaleingang

H(Y ) Entropie am Kanalausgang

H

T

Transinformation

H(XjY ) Äquivokation (Rückschlussentropie)

H(Y jX) Irrelevanz (Störentropie)

Im Idealfall, d. h., der Kanal ist ungestört, giltH(X) = H(Y ) = H

T

:

4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation

H(X) Entropie am KanaleingangH(Y ) Entropie am KanalausgangHT TransinformationH(X|Y ) Äquivokation (Rückschlussentropie)H(Y |X) Irrelevanz (Störentropie)

Im Idealfall, d. h., der Kanal ist ungestört, gilt H(X) = H(Y ) = HT .



Transinformation

Die Transinformation HT ist die Informationsmenge, die im Mittel durch einKanalzeichen vom Sender zum Empfänger übertragen werden kann:

HT = H(X) + H(Y ) − H(X, Y )

= H(X) − H(X|Y )

= H(Y ) − H(Y |X) in bit/KZ .

Notwendig: Kenntnisse über das Stör-(Übergangs-)verhalten– Statistische Untersuchungen– Übertragungsweg (Kabel, Funk) widerspiegelt typische Fehlerstrukturen→ Nachbildung des Störverhaltens (z. B. Binär-, AWGN-Kanalmodell)

Annahme: (p(yj |xi)) bekannt, N ≤ M



KanalmodellWahrscheinlichkeitstheoretisches Modell eines diskreten Kanals:

-1-1-1 -1

p(x

p(xp(x 0

)

1

X

p(y

p(yp(y

p(y

p(y

p(y

Y

.

....

....

..

...j

1

i

i|x )

|x )

|x )

|x )0

)

))

p(x p(y )p(y |x )

j

))

)

j 0

1 0

p(y0 0

.

M

.N . M

.N



Kanalmodell

Interpretation:

• p(yj |xi) und i = j

Wahrscheinlichkeit, mit welcher das gesendete Zeichen xi unverfälschtübertragen wird

• p(yj |xi) und i = j

Wahrscheinlichkeit, mit welcher das gesendete Zeichen xi in das emp-fangene Zeichen yj verfälscht wird

H(Y |X) =∑

i

∑j

p(xi) p(yj |xi) ld 1p(yj |xi)

→ HT = H(Y ) − H(Y |X)

Für eine fehlerfreie Übertragung gilt:p(yj |xi) = 1 für i = j und

p(yj |xi) = 0 für i = j → HT = H(Y )



Kanalmodell

Beschreibung der Komponenten durch Vektoren bzw. Matrizen:

(p(xi)) = (p(x0), p(x1), ..., p(xN−1))(p(yj)) = (p(y0), p(y1), ..., p(yM−1))

(p(yj |xi)) =

p(y0|x0) p(y1|x0) . . . p(yM−1|x0)p(y0|x1) p(y1|x1) . . . p(yM−1|x1)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p(y0|xN−1) p(y1|xN−1) . . . p(yM−1|xN−1)

(p(xi|yj)) =

p(x0|y0) p(x0|y1) . . . p(x0|yM−1)p(x1|y0) p(x1|y1) . . . p(x1|yM−1)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .p(xN−1|y0) p(xN−1|y1) . . . p(xN−1|yM−1)

Beispiel Berechnung von HT

(p(xi)) = (0, 2 0, 5 0, 3) ; (p(yj |xi)) =

( 0, 7 0, 1 0, 20, 1 0, 1 0, 80, 3 0, 7 0

)



Kanalkapazität diskreter KanäleVorlesung Informations- und Kodierungstheorie 36

Kanalkapazität diskreter Kanäle

QuelleX

SenkeY

I TI Q

KI

I K K

Kanal I K

Ikodierer kodierer

Q KQIQuellen

dekodiererdekodierer

Kanal

gungskanalÜbertra

Quellen

IQ QuelleninformationsflussIKQ QuellenkodeinformationsflussIKK KanalkodeinformationsflussIK Kanalinformationsfluss (= Übertragungsgeschwindigkeit vu)IT Transinformationsfluss




Quelleninformationsfluss IQ in bit/s

IQ = fQ HQ (fQ – Quellensymbolfrequenz in QZ/s)

Quellenkodeinformationsfluss IKQ in bit/s

IKQ = fQ l HK (allg. gleichmäßiger Quellenkode: l = ⌈ ld N[HK ] ⌉)

Kanalkodeinformationsfluss IKK in bit/s

IKK = fQ (l + ∆l) HK = fQ n HK (Kanalkode: n = l + k, k ≥ ⌈∆l⌉)

Kanalsymbolfrequenz fK in KZ/s ,

aus der Übertragungstechnik, auch Schrittgeschwindigkeit vs, in Schritt/soder in Baud

Übertragungsgeschwindigkeit vu in bit/s

vu = IK = vs HK

Transinformationsfluss IT in bit/s

IT = vs HT




Ungesicherte Übertragung

IK = IKQ IK[unges] = fQ l︸︷︷︸vs

HK

Gesicherte Übertragung

IK = IKK IK[ges] = fQ n︸︷︷︸vs

HK (Kanalkode bekannt!)

bzw.

IT = IKQ vs = IKQ

HT= fQ l

HK

HT= fQ n (Abschätzung ∆l!)

IK[ges] = IKK = fQ

(l

HK

HT

)HK = vs HK ; ∆l = n − l

Beispiel Berechnung von IK[unges] = vu[unges] , IK[ges] = vu[ges]

Kanalverhältnisse aus letztem BeispielN = 120 QZ , fQ = 100 QZ/s , Z = 3 KZ




Der Transinformationsfluss IT auf gestörten Kanälen ist immer kleiner als dieÜbertragungsgeschwindigkeit vu = IK .

Die Frage nach der maximal übertragbaren Information führt zum Begriff derKanalkapazität.

Definition 4.1Die Kanalkapazität C ist der Maximalwert des Transinformationsflusses:

C = max {IT } = max {vs HT } = 2 B HTmax ,

d. h. vs = fQ n ≤ 2 B ..




Gestörter Binärkanal

ε1−

p(x )

p(x )

p(y )

p(y )0

1 1

0

δ

−ε

1 δ

X Y

(p(yj |xi)) =(

1 − ε εδ 1 − δ

)

x0 Zeichen 0 am Kanaleingangx1 Zeichen 1 am Kanaleingangy0 Zeichen 0 am Kanalausgangy1 Zeichen 1 am Kanalausgangε Schrittfehlerwahrscheinlichkeit: statt des gesendeten

Zeichens x0 wird das Zeichen y1 empfangenδ Schrittfehlerwahrscheinlichkeit: statt des gesendeten

Zeichens x1 wird das Zeichen y0 empfangen



Gestörter Binärkanal

Berechnung der Transinformation

Gegeben: (p(xi)) , ε , δ

1. Schritt: Ermittlung von (p(yj))

2. Schritt: Ermittlung von H(Y )

3. Schritt: Berechnung von H(Y |X)

4. Schritt: Berechnung der Transinformation HT = H(Y ) − H(Y |X)

Beispiel Berechnung von HT

(p(xi)) = (0, 5 0, 5) , ε = p(y1|x0) = 0, 1 , δ = p(y0|x1) = 0, 05



Spezialfälle des gestörten Binärkanals

Symmetrisch gestörter Binärkanalε = δ = ps (ps Schrittfehlerwahrscheinlichkeit)

HT = H(Y ) −(

(1 − ps) ld 1(1 − ps) + ps ld 1

ps

)p(x0) = p(x1) = 1

2 :

HTmax = 1 −(

(1 − ps) ld 1(1 − ps) + ps ld 1

ps

)Einseitig gestörter BinärkanalAnnahme: ε = ps , δ = 0

HT = H(Y ) − p(x0)(

(1 − ps) ld 1(1 − ps) + ps ld 1

ps

)p(x0) = p(x1) = 1

2 :

HT = 1 + 12

((1 + ps) ld 1

(1 + ps) − ps ld 1ps

)



Binärkanal mit Störerkennung

y1 1=

y2

yj

yM −1

......

y(t)

t

0=y 0

1-1

-1

.p(y )M

p(x )

p(x0

1

))

0 0

..

.p(y |x

|x

.

p(y

) p(y 1|x )M

p(y |x )j 0

.

.

)jp(y

..j

0

1p(y

p(y

)

)

X YSS 2020 Informations- und Kodierungstheorie 43


Binärkanal mit AuslöschungSpezialfall: Symmetrisch gestörter Binärkanal mit Auslöschung

s

λ

λ

1− −λ

ps1− −λ

ps

ps

p

1

0

2

1

0

p(x ) p(y )

p(y )

p(y )p(x )

y2 – Auslöschungszeichen

p(x0) = p(x1) = 12 :

HTmax = (1 − λ) − psld 1ps

+ (1 − λ)ld 11 − λ

− (1 − ps − λ)ld 11 − ps − λ

1−λ

1−λ

λ

λ

1

0

1

0

2

p(y )

p(y )

p(y )

p(x )

p(x )

p(x0) = p(x1) = 12 : HTmax = (1 − λ)



Binärkanal

Beispiel Bewertung von symmetrischen Kanalmodellen

ps

ps

ps1−

ps1−

ps

ps

ps1− −λ

ps1− −λ 1−λ

1−λ

λ

λλ

λ

Kanal 3

0

Kanal 2

1

0

1

2

1

0

1

2

0

Kanal 1

1

0

1

2

0p(x )

p(y )

p(x ) p(y )

p(x )

p(y )

p(y )p(y )p(x )

p(y )

p(x ) p(y )p(x ) p(y )

p(y )

Gegeben: p(x0) = p(x1) = 12(

p(y0)p(y1)p(y2)

)=

( 0, 5 (1 − λ)0, 5 (1 − λ)

λ

)=(

(0, 5 0, 5)(

1 − ps − λ ps λps 1 − ps − λ λ

))T

1 − ps − λ = 0, 98



Binärkanal

Ergebnis:

Kanal 1 Kanal 2 Kanal 3p(y0) 0, 5 0, 495 0, 49p(y1) 0, 5 0, 495 0, 49p(y2) 0 0, 01 0, 02H(Y ) 1, 000 bit/KZ 1, 071 bit/KZ 1, 121 bit/KZH(Y |X) 0, 141 bit/KZ 0, 161 bit/KZ 0, 141 bit/KZHTmax 0, 859 bit/KZ 0, 909 bit/KZ 0, 980 bit/KZ




Binärkanal

Kanalkapazität des Binärkanals

Für den ungestörten Fall und unter der Annahme p(x0) = p(x1) gilt:

HTmax = 1 bit/KZ

und

Cmax

/bits

= 2 B/

s−1 .

Die Kanalkapazität eines symmetrisch gestörten Binärkanals mitgleichverteilten Eingangszeichen lautet beispielsweise:

C = 2 B(

1 −(

(1 − ps) ld 1(1 − ps) + ps ld 1

ps

)).

Beispiel Dimensionierung von fQ (Aufg.s.: 3.1, 8. Aufgabe)

(p(xi)) = (0, 1 0, 3 0, 1 0, 05 0, 4 0, 05),(rauschfreier) Binärkanal mit B = 100 Hz, fQ = 80 QZ/s möglich?



Analoge Kanäle: Entropie analoger Quellen

f(x

) i

f(x)

∆x0 xi x

Die Wahrscheinlichkeit, dass die zufällige Größe xi im Bereich ∆x liegt,berechnet sich durch

p(xi) =∫

∆x

f(x) dx ≈ f(xi) ∆x .



Analoge Kanäle: Entropie analoger Quellen

Hdiskr = Hm =∑

i

f(xi) ∆x ld 1f(xi) ∆x

=∑

i

f(xi) ∆x ld 1f(xi)

−∑

i

f(xi) ∆x ld ∆x

Han =∞∫

−∞f(x) ld 1

f(x) dx − ld ∆x

∆x ist unter gleichen Bedingungen konstant. Daher lässt man ld ∆x meistensweg und spricht dann von der relativen Entropie einer analogen Quelle:

Hrel =∞∫

−∞f(x) ld 1

f(x) dx .

Beispiel Berechnung von Hrel

f(x) = 1√2 π P

e− x2

2 P



Transinformation analoger Kanäle

• Signale und Störungen überlagern sich additiv und sind damit am Ka-nalausgang als Summe beider vorhanden.

• Es entstehen keine Störanteile, die vom Nutzsignal abhängen.

→ Nutz- und Störsignal sind unkorreliert, d. h., die Leistung desEmpfangssignals ist gleich der Summe aus Nutz- undStörsignalleistung:

Vorlesung Informations- und Kodierungstheorie 50


� Signale und Störungen überlagern sich additiv und sind damit am

Kanalausgang als Summe beider vorhanden.

� Es entstehen keine Störanteile, die vom Nutzsignal abhängen.

! Nutz- und Störsignal sind unkorreliert, d. h., die Leistungdes

Empfangssignals ist gleich der Summe aus Nutz- und

Störsignalleistung:

y = Px + PzP

z

xP

P

Annahme: Amplitudenwerte von Nutz- und Störsignal sind normalverteilt:

f(x) = 1√2 π P

e− x2

2 P




Entropie der Quelle

H(X) = 12 ld (2 π e Px) (Px mittlere Nutzsignalleistung)

Störentropie

H(Y |X) = 12 ld (2 π e Pz) (Pz mittlere Störsignalleistung)

Entropie am Kanalausgang

H(Y ) = 12 ld (2 π e (Px + Pz))


HT = H(Y ) − H(Y |X) = 12 ld

(1 + Px

Pz

)HT ≈ 1

2 ld Px

Pzunter der Bedingung Px

Pz≫ 1




Rauschabstand

r = 10 lg Px

Pzin dB (Dezibel)

Für Px

Pz≫ 1 gilt dann

HT ≈ 12 0, 332 r = 0, 166 r .

Kanalkapazität analoger Kanäle

Can = 2 B HT = 2 B12 ld

(1 + Px

Pz

)oder

Can

/bit

s= B/s−1 ld

(1 + Px

Pz

)Für Px

Pz≫ 1 erhält man

Can ≈ 0, 332 B r . [Begleitbuch, S. 33 - 37, 68 - 76, 102 - 106]



Quantisierung analoger Signale


Störung


StörungDiskreteQuelle

AnalogeQuelle

Quellef(t) Abtastung

f(t)

t

b) c) d)

Amplituden-quantisierung Kodierer

t

f(n t A

A A)f(n t

)A

)f*(n t

)f*(n t

n t n t A A

a)

x(t)

x(t)




Zeitquantisierung

Abtastfrequenz

fA ≥ 2 fg in AW

s

Abstand der Abtastwerte: tA ≤ 12 fg

= 1fA

→ bei Einhaltung obiger Bedingung kein Infomationsverlust

Amplitudenquantisierung

→ Informationsverlust abhängig von Stufung und Verteilung

Annahme: Quantisierung mit linearer Kennlinie




n

m

i

2

1

x 1 x 2 ix x m x

21δ 22δ

Hq =m∑

i=1p(xi) ld 1

p(xi)in bit

AW

p(xi) = 1m

: Hqmax = ld m




Modell der diskreten Übertragung eines quantisierten, gestörten Signals

Vorlesung Informations- und Kodierungstheorie 56

Modell der diskreten Übertragung eines quantisierten, gestörten Signals

q= IKQCan

KanalAnaloger

QADU

QAnaloge Quelle

an

II

DekodiererÜbertragungskanal

Dekodierer

Senke

SenkeDAUStörung

Kodierer

C

an

= I

q

f

g

ld

�

1 +

P

x

P

z

�

= 2 f

g

ldm

! m =

q

P

x

P

z

oder m = 10

r

20

I

q

= I

KQ

, wenn l = ldm

4 Kanäle 4.3 Quantisierung analoger Signale

DekodiererÜbertragungskanal

Dekodierer

Senke

SenkeDAUStörung

Kodierer

Can = Iq

fg ld(

1 + Px

Pz

)= 2 fg ld m

→ m =√

PxPz

oder m = 10r

20 Iq = IKQ , wenn l = ld m




Kenngrößen der Analog-Digital-Umwandlung

Das analoge Signal hat zwei Kenngrößen, die den Informationsfluss bestimmen:

• Grenzfrequenz fg und

• Rauschabstand r

Wichtige Kenngrößen des ADU sind:

• Umsetzzeit tu und

• Kodewortlänge l = ld m

Da durch den ADU das quantisierte Signal in einem gleichmäßigenKode dargestellt wird, werden nur Stufenanzahlen von

m = 2i (i = 1, 2, ...)

realisiert.




Bedingungen zur Vermeidung von Informationsverlust durch ADU:• In der Zeit tu ist das Signal abzutasten und der Abtastwert in einem

Binärkode darzustellen:

tu ≤ tA .

• Die erforderliche Kodewortlänge wird durch den Rauschabstand vorge-geben:

l = ⌈0, 166 r⌉ = ⌈HT,an⌉ → m = 2l mit l in KZAW

, r in dB .

Kanalkapazität des nachgeschalteten Binärkanals:

C ≥ IKQ = 2 fg l HK = fA l HK . (Gesicherte Übertragung!)

Beispiel ADU, diskrete Übertragung: vu[unges] , vu[ges] , Bbin

Ban = fg = 1 k Hz, r = 40 dB, BK: ε = 0, 1 δ = 0, 05 p(x0) = p(x1)




Möglichkeiten der Fehlerkorrektur


Störung

FEC [Forward Error Correction]ARQ [Automatic Repeat reQuest]

Likelihoodmit Maximum

Mindestdistanzmit begrenzter

Fehlerkorrektur

durch Wiederholung durch Rekonstruktion

"Fehlererkennung" (FE) "Fehlerkorrektur" (FK)



Allgemeiner Ablauf mit ARQ bzw. FEC

b*

Empfangsfolge b

Übertragung

Kanalkodefolge a

FEC

nn

j

FehlerkorrekturWiederholung Übertragung ?

RedundanzEntfernen der

fehlerfreie

a*ARQ



Redundanz und Rekonstruktionsergebnisse

Fehlerkorrektur durch Wiederholung (FE)

→ hinzugefügte redundante Stellen nur zur Erkennung eines Fehlers

Fehlerkorrektur durch Rekonstruktion (FK)

→ hinzugefügte redundante Stellen zur Erkennung eines Fehlers undLokalisierung der Fehlerpositionen

→ k FEC > kARQ

Rekonstruktionsergebnisse• korrekte Rekonstruktion• falsche Rekonstruktion

• Versagen der Rekonstruktion



Allgemeine Kenngrößen von KanalkodesVorlesung Informations- und Kodierungstheorie 62

Allgemeine Kenngroßen von Kanalkodes

QuelleX

SenkeY

Kanal

kodierer kodiererQuellen

dekodiererdekodierer

Kanal

gungskanalÜbertra

Quellen *

E

B

AA*

B

X = {x1, x2, ..., xL}A∗ = {a∗

1, a∗2, ..., a∗

L}A = {a1, a2, ..., aL}E = {e1, e2, ..., eN }B = {b1, b2, ..., bN } → (n, l, dmin), auch (n, l)Kode

Beispiel (n, 1, n)Wiederholungskode



HAMMING-Distanz

Definition 5.1Die Anzahl der Stellen, in denen sich zwei Kodewörterai = (ui1 ui2 ... uin) und aj = (uj1 uj2 ... ujn)unterscheiden, bezeichnet man als HAMMING-Distanz d(ai, aj) :d(ai, aj) = |{g ∈ Zn | uig = ujg}| mit g ∈ Zn = {1, 2, ..., n} .

Binärkode:

HAMMING-Distanz: d(ai, aj) =n∑

g=1(uig ⊕ ujg)

HAMMING-Gewicht: w(ai) =n∑

g=1uig = d(0, ai)

→ dmin = minai,aj ∈A,ai =aj

d(ai, aj) = minai∈A\0

d(0, ai) = minai∈A\0

w(ai) = wmin

Beispiel min. HAMMING-Distanz dmin (auch Mindestdistanz)

(4, 1, dmin = ? )Wiederholungskode; (4, 3, dmin = ? )Paritätskode



Geometrische Deutung der minimalen HAMMING-Distanz

ai aj

Kodewort Kodewort

0 1 2 3 4 5d( ,

Korrekturkugeln

ai aj

)=dmin

fk

dmin = fe + fk + 1 FE: fe = dmin − 1 , fk = 0

FK: fe = ⌊ dmin2 ⌋ , fk = ⌊ dmin−1

2 ⌋ (dmin geradzahlig?)

→ Dekodierungsprinzip Rekonstruktion mit begrenzter Mindestdistanz

Beispiel Fortsetzung: fe, fk bei Anwendung von FE oder FK?



HAMMING-Schranke

Berechnung der redundanten Stellen k (bekannt: dmin; l oder n)

2n = 2l 2k ≥ 2l

(1 +

(n

1

)+(

n

2

)+ ... +

(n

fk

))2k ≥

fk∑i=0

(n

i

) (ni

)= n!

i! (n−i)! = n(n−1)· ... ·(n−i+1)1·2· ... ·i

k ≥ ldfk∑

i=0

(n

i

)= ld

fk∑i=0

(l + k

i

)→ untere Schranke für k bei vorgegebenem l

obere Schranke für l bei vorgegebenem n ; l = n − k

→ HAMMING-Schranke→ „=“: Entsprechende Kodes heißen dichtgepackt oder perfekt.

Beispiel Berechnung von k

l = 4 , dmin = 5



Zweites SHANNONsches Kodierungstheorem

Weitere Kodekenngrößen

relative Redundanz rk = n − l

n= k

n

Koderate R = l

n

Zweites SHANNONsches Kodierungstheorem

Die Restfehlerwahrscheinlichkeit pR kann beliebig klein gehalten werden,solange die Koderate R den Wert der maximalen Transinformation HT nichtüberschreitet.

Darüber hinaus hat SHANNON theoretisch nachgewiesen, dass auch beibeliebig kleiner Restfehlerwahrscheinlichkeit immer noch eine Koderate größerals Null möglich ist [SHA 48].




Klassifizierung von Kanalkodes

Algebrais he Kanalkodes

Blo kkodes Blo kfreie (sequentielle) Kodes

(bin

�

ar, ni htbin

�

ar) (bin

�

ar)

Parit

�

atskodes

(Verkettete Kodes) HAMMING{Kodes Zyklis he Kodes Faltungskodes

Wiederholungskodes

REED{MULLER{Kodes

BCH{Kodes RS{Kodes

(CRC{Kodes)

„Neu“: Turbokodes, LDPC-Kodes(einfache, auch verkettete Blockkodes mit iterativer Dekodierung)




Lineare Blockkodes

Definition 5.2Ein Kode heißt linearer Blockkode, oder kurz Linearkode, wenn derKanalkodierer für die Transformation von Quellenkodewörtern der Länge l ausdem Alphabet A∗ (Quellenkode) in Kanalkodewörter der Länge n desAlphabetes A (Kanalkode) eine Verknüpfungsoperation verwendet, die in deralgebraischen Struktur einer Gruppe definiert ist.

Darstellung von Linearkodes als GruppenAxiom G1: AbgeschlossenheitAxiom G2: Assoziatives GesetzAxiom G3: Neutrales ElementAxiom G4: Inverses ElementKommutativgesetz → abelsche Gruppe

Beispiel (5, 1, 5)Wiederholungskode: A = {00000, 11111}

(3, 2, 2)Paritätskode: A = {000, 011, 101, 110}



Wichtig für algebraische Kodes

B lineare Verknüpfung von Kanalkodewörtern führt wieder zu einem Ka-nalkodewort

B Nullwort ist immer auch KanalkodewortB Axiome stellen Kodebildungs- und Fehlererkennungsvorschrift darB (n, l, dmin)Kanalkode:

A ⊂ {0, 1}n mit L = 2l Kanalkodewörtern, k = n − l

B dmin des Kanalkodes bestimmt LeistungsfähigkeitBei einem Linearkode ist die minimale HAMMING-Distanz gleich demminimalen Gewicht der Kodewörter (außer dem Nullwort).FE: fe = dmin − 1 = wmin − 1FK: fk =

⌊dmin−1

2

⌋=⌊

wmin−12

⌋, fe =

⌊dmin

2

⌋=⌊

wmin2

⌋Beispiel Kanalkodealphabet A



Beispiel: Kanalkodealphabet A

Kanalkodealphabet A:

a0 = (0 0 0 0 0 0 0) a8 = (1 0 0 0 1 0 1)a1 = (0 0 0 1 0 1 1) a9 = (1 0 0 1 1 1 0)a2 = (0 0 1 0 1 1 0) a10 = (1 0 1 0 0 1 1)a3 = (0 0 1 1 1 0 1) a11 = (1 0 1 1 0 0 0)a4 = (0 1 0 0 1 1 1) a12 = (1 1 0 0 0 1 0)a5 = (0 1 0 1 1 0 0) a13 = (1 1 0 1 0 0 1)a6 = (0 1 1 0 0 0 1) a14 = (1 1 1 0 1 0 0)a7 = (0 1 1 1 0 1 0) a15 = (1 1 1 1 1 1 1)

→ Überprüfen der Eigenschaften!

→ (n, l, dmin)Linearkode



Darstellung von Linearkodes durch Matrizen

Definition 5.3

Ein Linearkode A mit L = 2l Kanalkodewörtern ist durch seineGeneratormatrix G mit l linear unabhängigen Kanalkodewörtern(Basiswörtern) eindeutig beschrieben:

Gl×n =

u11 u12 . . . u1n

u21 u22 . . . u2n

......

. . ....

ul1 ul2 . . . uln

; ui,j ∈ {0, 1} .

→ Mit einer Einheitsmatrix über den ersten l Spalten der Generatormatrixsind die zugehörigen Kanalkodewörter mit Sicherheit linear unabhängig.



Darstellung der Generatormatrix

Kanonische oder reduzierte Staffelform

Gl×n =

1 0 0 . . . 0 u1,l+1 u1,l+2 . . . u1n

0 1 0 . . . 0 u2,l+1 u2,l+2 . . . u2n

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 0 0 . . . 1 ul,l+1 ul,l+2 . . . uln

=

1 0 0 . . . 0 c11 c12 . . . c1k

0 1 0 . . . 0 c21 c22 . . . c2k

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 0 0 . . . 1 cl1 cl2 . . . clk

= [ Il C ]

Beispiel Fortsetzung: A → Gl×n



Systematischer Kode

Definition 5.4Ein Linearkode heißt systematischer Kode, wenn aus einem Kanalkodewortai ∈ A durch Streichen redundanter Stellen das Quellenkodewort a∗

i ∈ A∗

unmittelbar entnommen werden kann.

Bildung eines Kanalkodewortes – Kanalkodierung

ai = a∗i · Gl×n

(ui1ui2 ... uin) = (ui1ui2 ... uil)

1 0 0 . . . 0 c11 c12 . . . c1k

0 1 0 . . . 0 c21 c22 . . . c2k

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .0 0 0 . . . 1 cl1 cl2 . . . clk

Beispiel Fortsetzung: a∗ = (0101) → a = ?



Kontrollmatrix

Aufbau einer Kontrollmatrix (aus der Generatormatrix):Ein zu A orthogonaler Unterraum A′ ist dadurch gekennzeichnet, dass dasSkalarprodukt eines beliebigen Vektors aus A mit jedem beliebigen Vektor ausA′ Null ist.Es seiai = (ui1 ui2 ... uin) mit ai ∈ A und

a′j = (uj1 uj2 ... ujn) mit a′

j ∈ A′ .

Dann giltai · a′

j = ui1 · uj1 ⊕ ui2 · uj2 ⊕ ... ⊕ uin · ujn = 0 für alle i, j .

B Ist G = [ Il C ] dann ist der zu A orthogonale Unterraum A′ durchH = [ CT Ik ] beschrieben.Orthogonalitätsbedingung: G · HT = (H · GT )T = 0

Beispiel Fortsetzung: Gl×n → Hk×n



Kontrollmatrix: Bestimmungsgleichungen

Kontroll(auch Prüf-)matrix liefert auch Vorschrift zur Bildung derKontrollstellen kj (Bestimmungsgleichungen):ai · a′T

1 = ui1 · c11 ⊕ ui2 · c21 ⊕ ... ⊕ uil · cl1 ⊕ ui,l+1 · 1 ⊕ ui,l+2 · 0 ⊕ ... ⊕ uin · 0= 0 .

Erstes Kontrollelement ui,l+1 = k[i,]1 des Kanalkodewortes ai:ui,l+1 = k[i,]1 = ui1 · c11 ⊕ ui2 · c21 ⊕ ... ⊕ uil · cl1

Allgemein:ui,l+j = k[i,]j = ui1 · c1j ⊕ ui2 · c2j ⊕ ... ⊕ uil · clj (j = 1, 2, ..., k)

für ai = (ui1ui2 ... uil ui,l+1ui,l+2 ... ui,l+k) = (l1 l2 ... ll k1 k2 ... kk)

Beispiel Fortsetzung: Bestimmungsgleichungen für kj (j = 1, 2, ..., k)

a∗ = (0101) → a = ?




Fehlererkennung und Fehlerkorrektur – Kanaldekodierung

• Die Empfangsfolge b kann als Überlagerung eines Kanalkodewortes ai

mit einem Fehlerwort e aufgefasst werden:b = ai ⊕ e .Damit gilt für das Fehlersyndrom (auch Prüfvektor)

s = H · bT = H · (ai ⊕ e)T = H · aTi︸︷︷︸

0

⊕H · eT = H · eT .

• Alle Fehlermuster, deren Gewicht w(e) ≤ dmin −1 ist, sind mit Sicher-heit erkennbar.

• Alle Fehlermuster, deren Gewicht w(e) ≤ ⌊ dmin−12 ⌋ ist, sind mit Si-

cherheit korrigierbar.• Darüber hinaus sind nur Fehlermuster erkennbar, die nicht in A definiert

sind, d. h. e /∈ A.• Ist e /∈ A und w(e) > ⌊ dmin−1

2 ⌋ erfolgt eine Falschkorrektur oderRekonstruktionsversagen.



Fehlererkennung und Fehlerkorrektur – Kanaldekodierung

• Empfangsfolge b ∈ A ?s = Hk×n · bT (auch: Kontrollgleichungen für sj (j = 1, 2, ..., k))

s = 0: b ∈ A

→ fehlerfreie Übertragung oder→ kein erkennbarer Fehlers = 0: b /∈ A → Fehlererkennung, Korrektur?

• Jedem Fehlersyndrom ist maximal ein Fehlermuster zugeordnet, solangew(e) ≤

⌊dmin−1

2

⌋.

• Die Syndrome sind k-stellige Vektoren. Also können (2k − 1) verschie-dene Fehlermuster korrigiert werden.

Beispiel Fortsetzung: b = (1100101) ∈ A ?

Kontrollgleichungen für sj (j = 1, 2, ..., k)




„Einfachster“ Linearkode: Paritätskode

Paritätskode

a∗i = (ui1 ui2 ... uil) → ai = (ui1 ui2 ... uil ui,l+1)

ui,l+1 – Paritätselement:

ui,l+1 =l∑

j=1uij mod 2 (Ergänzung auf geradzahlige Anzahl Eins)

dmin ?Generatormatrix G(n−1)×n ?Kontrollmatrix H1×n ?

Fehlererkennung: s = H · bT =n∑

j=1uj mod 2 , s = 0 : b /∈ A

Anwendung: DÜ in Rechnern, Erweiterung von Kodes, RAID5



Verkettung von zwei Paritätskodes

→ (n1 · n2, l1 · l2, dmin,1 · dmin,2)Produktkode

1

0

0

1 0 0 1 0 01 0 1 0 1 10 1 1 0 0 01 0 0 1 1 10 0 0 0 0 00 1 1 0 1 1

1 0 1 0 1 1

s

sParitätselemente

Paritätselementbzgl. derParitätselemente

Quellenkodewort

Quellen−kodewörter

bzgl. der Zeilen

lbzgl. der Spalten stelliges

Paritätselemente

0 1 1 0 0 0 01 0 0 1 1 1 0

1 0 1 0 1 1 0

Kanalkodewortl( +1) stelliges

0 0 0 0 0 10 1 1 0 1 1 0

1 0 0 1 0 0 01 0 1 0 1 1 0

Beispiel:

l

0 0 0 1 0 0 1

aus *A

m

→ (6 · 7, 5 · 6, 2 · 2) = (42, 30, 4)Produktkode, R = 3042 = 0, 71

Zum Vergleich: (4, 1, 4)Wiederholungskode, R = 14 = 0, 25



Fehlerkorrigierender HAMMING-Kode

Fehlerkorrigierender HAMMING-Kode

Definition 5.5Der fehlerkorrigierende HAMMING-Kode ist ein spezieller linearer Gruppenkodeund bzgl. der HAMMING-Schranke ein dichtgepackter Kode. Er hat einenminimalen HAMMING-Abstand von dmin = 3 und eine Kodewortlänge vonn = 2k − 1 .

• Man bezeichnet diesen Kode auch als einfehlerkorrigierendenHAMMING-Kode.

• Geschickte Vertauschung der Spalten von H, so dass die i-te Spal-te von H der Dualdarstellung von i entspricht. Das Fehlersyndrom sliefert dann unmittelbar die dual dargestellte Position des fehlerhaftenElementes in b.



Fehlerkorrigierender HAMMING-Kode: Kontrollmatrix

• Kontrollmatrix eines (7, 4)HAMMING-Kodes:

H3×7 =

n7( 111l4

n6110l3

n5101l2

n4100k3

n3011l1

n2010k2

n1001

)k1

→ Kontrollstellen an Positionen n2i (i = 0, 1, ...) → systematisch!

→ Berechnen der Kontrollstellen mittels den Bestimmungsglei-chungen kj (j = 1, 2, ..., k) aus H → a = ([...]l4l3l2k3l1k2k1)

• s = H · bT bzw. Kontrollgleichungen sj (j = 1, 2, ..., k) aus H

Ein Fehler wird durch s = (sksk−1...s1)T lokalisiert und damit korri-giert.

Beispiel a∗ = (1001) → a =? → b = a ⊕ (0010000) → b∗ =?



Verkürzter HAMMING-Kode

Für k Kontrollstellen sind maximal n = 2k − 1 verschiedene Syndrome möglichund damit maximal n = 2k − 1 Stellen bzgl. Einfachfehler korrigierbar.

l = 2k − 1 − k liefert einen dichtgepackten Kode(HAMMING-Schranke mit „=“ erfüllt),

l < 2k − 1 − k einen verkürzten Kode mit n < 2k − 1 .

Das Korrekturschema des einfehlerkorrigierenden HAMMING-Kodes lässt sichauch dann anwenden.

Beispiel

(7, 4)HAMMING-Kode → verkürzter (6, 3)HAMMING-KodeÜberprüfe mit HAMMING-Schranke!



Erweiterter HAMMING-Kode

• Jedem Kanalkodewort wird ein weiteres Kontrollelement k0 hinzugefügt.• Dieses Kontrollelement wird durch eine zusätzliche Bestimmungsglei-

chung berechnet, die sämtliche Kodewortelemente einbezieht:a = ([...]l4l3l2k3l1k2k1k0) = ([...]n7n6n5n4n3n2n1n0) mit

n0 =n∑

i=1ni mod 2 ; zusätzl. Kontrollgleichung: s0 =

n∑i=0

ni mod 2 .

→ Paritätsbit→ Erzeugt Kanalkode mit geradzahliger Parität

• Die Anzahl der Kontrollelemente beträgt damit k + 1, die Kodewortlängeerhöht sich auf n ≤ 2k. Der Minimalabstand ist dmin = 4.

• Die Anzahl der Informationselemente ist unverändert.Beispiel a∗ = (1001) → a = ?

b = (11011001) ∈ A ? → Auswertung von s und s0




Zyklische KodesZyklische Kodes → Binäre primitive BCH-Kodes

Definition 5.6Ein Kode heißt zyklisch, wenn für jedes Kanalkodewortai = (ui,n−1 ui,n−2 ... ui1 ui0)durch zyklische Verschiebung der Elemente mitaj = (ui,n−2 ui,n−3 ... ui0 ui,n−1)wieder ein Kanalkodewort entsteht. a

a aj(x) = ai(x) xz mod (xn + 1) ersetzt Exponenten r ≥ n durch r mod n .

Ein zyklischer Kode ist ein spezieller Linearkode, der sowohl algebraischeGruppenaxiome als auch Ring- und Körperaxiome erfüllt.

Das Generatorpolynom g(x) ist i. Allg. ein Produkt von Minimalpolyno-men mi(x), das den zyklischen Kode vollständig beschreibt. g ∈ A!

Hinweis: Schreibweise von PolynomenP (x) = urxr + ur−1xr−1 + ... + u0 mit ui ∈ {0, 1}



Ausgewählte algebraische Grundlagen

• Eigenschaften eines Modularpolynoms über GF (2)

1. Das Modularpolynom muss irreduzibel sein.

B Ein Polynom ist irreduzibel, wenn es nicht in ein Produkt vonPolynomen zerlegbar ist.

B Das Modularpolynom M(x) vom Grad k1 = grad M(x) bestimmtden Kodeparameter n mitn ≤ 2k1 − 1 .

B Der tatsächliche Wert von n berechnet sich aus dem Zyklus derPolynomreste über GF (2) mitxi mod M(x) (i = 0, 1, ..., p)und bestimmt n = p | 2k1 − 1 .

Beispiel M(x) = x3 + x2 + 1



Ausgewählte algebraische Grundlagen

2. Ist

n = p = 2k1 − 1 ,

dann besitzt das irreduzible Polynom M(x) auch die Eigenschaft,primitiv zu sein.

• Erweiterungskörper und MinimalpolynomeDie Leistungsfähigkeit eines BCH-Kodes hängt von der Anzahl aufein-

anderfolgender Nullstellen in g(x) ab. → Nullstellen?

Beispiel

P (x) = x4 + x + 1 über GF (2) , primitiv:

P (x = 1) = 1 ; P (x = 0) = 1

Das Polynom P (x) hat über GF (2) keine Nullstelle.



Fundamentalsatz der Algebra

Jedes Polynom hat mindestens eine Nullstelle, gegebenenfalls in einem anderenKörper, und jedes Polynom r-ten Grades lässt sich in genau r Teilpolynomeersten Grades, d. h. in r Linearfaktoren, zerlegen, i. Allg. unter Zuhilfenahmevon Erweiterungselementen αi:

P (x) = urxr + ur−1xr−1 + ... + u1x + u0

= (x − α1)(x − α2) ... (x − αr).

Ein neues Element α wird als Nullstelle eines irreduziblen Polynoms überGF (2) hinzugefügt, welches einem Erweiterungskörper angehört.

Auf der Grundlage eines irreduziblen Modularpolynoms M(x) vom Gradk1 = grad M(x) über GF (2) entsteht durch Hinzunahme einer Nullstelle α einendlicher Erweiterungskörper GF (2k1 ) , d. h., α ist Nullstelle von M(x) undein (Erweiterungs-)Element in GF (2k1 ) .



Erweiterungskörper GF (2k1)

Zum Erweiterungskörper GF (2k1 ) gehören neben dem Nullelement dieElemente αi (i = 0, 1, ..., (2k1 − 2)) .

Beispiel M(x) = x3 + x2 + 1 über GF (2)

Bestimmung des Erweiterungskörpers GF (23):Elemente Polynomreste Koeffizienten der

des GF (23) αi mod M(x = α) PolynomresteNullelement 0 0 0 0

α0 1 0 0 1α1 α 0 1 0α2 α2 1 0 0α3 α2 + 1 1 0 1α4 α2 + α + 1 1 1 1α5 α + 1 0 1 1α6 α2 + α 1 1 0α7 1 0 0 1

→ isomorph dem Zyklus der Polynomreste über GF (2)




Berechnungsbeispiele für Addition und Multiplikation im GF (23)/x3 + x2 + 1:

B αi + αj = αi mod M(α) + αj mod M(α) = αk

i = j : αi + αj = 0

Z. B. α5 + α2 = α + 1 + α2 = α4 bzw.α5 + α2 = (011) ⊕ (100) = (111) = α4

α2 + α2 = (100) ⊕ (100) = 0

α3 + α4 = ? α + α6 = ?

B αi · αj = α(i+j) mod p

Z. B. α4 · α5 = α9 mod 7 = α2

α2 · α6 = ? α5 · α6 · α4 = ?




Beispiel M(x) = x3 + x2 + 1

α Nullstelle von M(x) und Erweiterungselement:M(x = α) = α3 + α2 + 1 = (α2 + 1) + α2 + 1 = 0

Fundamentalsatz der Algebra:M(x) = x3 + x2 + 1 = (x + α1)(x + α2)(x + α3) im GF (2) ,

d. h., α1 = α1, α2 und α3 sind Nullstellen im GF (23) .

Zuordnung αj zu den Elementen von GF (2k1 ):

αj = α2j−1i mod p (j = 1, 2, ... , k1(= grad M(x)))

B Die Elemente α20i, α21i, ... , α2k1−1i mod p sind im Zyklus i(i = 0, 1, ..., 2k1 − 2) zueinander konjugiert.

B Konjugierte Elemente befinden sich in einem Zyklus.




Die Nullstellen von M(x) sind damit die im Zyklus i = 1 stehenden zu α1

konjugierten Elemente α2 = α2 und α3 = α4 .i = 2 und i = 4 liefern demzufolge den gleichen Zyklus.

B Die Anzahl der Elemente in einem Zyklus wird durch k1 = grad M(x)begrenzt und ist für p = 2k1 − 1 ∈ P für alle Zyklen gleich (ausge-nommen: i = 0).

Beispiel Zyklen im GF (23) :

α0

α1, α2, α4

α3, α6, α5



Minimalpolynome

Jedem αi aus GF (2k1 ) ist ein Minimalpolynom mi(x) zugeordnet:B Das Minimalpolynom eines beliebigen Elementes αi ist irreduzibel und

vom Grad r ≤ k1.

B Zu jedem Element αi existiert genau ein Minimalpolynom mi(x).

B Das Minimalpolynom des Elementes αi ist gleichzeitig das Minimalpo-lynom der Elemente α21i, α22i, ..., α2r−1i mod p.

B Ist αi eine Nullstelle des Minimalpolynoms mi(x), dann sind die r

zueinander konjugierten Elemente αi, α21i, α22i, ..., α2r−1i die sämt-lichen Nullstellen von mi(x):

mi(x) = (x + αi)(x + α21i)(x + α22i)...(x + α2r−1i) im GF (2) .

B Das Modularpolynom M(x) ist wegen M(x = α1) = 0 das Minimal-polynom m1(x) des Elementes α1.

Beispiel m0(x), m1(x), m3(x) im GF (23)/M(x) = x3 + x2 + 1 ?




Generatorpolynom primitiver BCH-Kodes

→ zur Kodierung und Fehlererkennung→ g(x) = f(dE , M(x)) ; auch: g(x) = f(dE , l) , M(x) = ?

Entwurfsabstand dE und M(x) bestimmen Wahl der Kodeparameter!

Notwendig:

Erweiterungskörper GF (2k1 ):Wenn M(x) primitiv ist und α als Nullstelle hat, dann giltGF (2k1 ) = {0, α0, α1, α2, ..., α2k1 −2} .

Ein Minimalpolynom mi(x) hat αi, α2i, α4i, ... als Nullstellen:mi(x) = (x + αi)(x + α2i)(x + α4i) ... im GF (2) .

Daraus folgt: mi(x) = m2i(x) = m4i(x) = ... = m2r−1i mod p , r ≤ k1 .Das Generatorpolynom g(x) hat die Aufeinanderfolge vonαµ, αµ+1, αµ+2, ..., αµ+dE−2 als Nullstellen, so auch ∀i.ai ∈ A \ 0 .




Damit ein BCH-Kode die aufeinanderfolgenden Elementeαi (i = µ, µ + 1, ..., µ + dE − 2) als Nullstellen enthält, wird g(x) i. Allg. einProdukt von Minimalpolynomen sein:

g(x) = kgV {mµ(x), mµ+1(x), ..., mµ+dE−2(x)}

(in praktischen Anwendungsfällen ist µ meist 0 oder 1).

Kodeparametern = 2k1 − 1 , weil M(x) primitivk = grad g(x)l = n − k

dmin[,tatsachlich] ≥ dE

Über die Zyklendarstellung kann die tatsächliche Aufeinanderfolge derNullstellen bestimmt und damit der tatsächliche Abstand dmin ermitteltwerden:dmin = (tatsächliche Anzahl aufeinanderfolgender Nullstellen) + 1




Beispiel M(x) = x4 + x + 1, primitiv

Bildung von g(x)

• Bestimmen möglicher Generatorpolynome g(x) aus den Zyklen derExponenten von α für µ = 1 bzw. 0!

• g(x) für dE = 4 ?

Analysiere g(x) bzgl. dmin und den Kodeparametern

• g(x) = x8 + x7 + x6 + x4 + 1

• (31, 21)BCH-Kode (grad M(x) = ?)




Spezielle BCH-Kodes: CRC[cyclic redundancy check]-Kodes

Zyklischer HAMMING-Kodeg(x) = M(x) = m1(x) → dmin = 3 :mit Sicherheit Erkennen von Ein- und Zweifachfehlern (fe = 2)UNDErkennen von Bündelfehlern der Länge fb ≤ k = k1 = grad M(x)Kodeparameter?(n, l, dmin) = (2k1 − 1, 2k1 − 1 − k1, dmin = 3)BCH-Kode

ABRAMSON-Kodeg(x) = m0(x) m1(x) mit m0(x) = (x + 1)→ dmin = 4 mit fe = 3 , fb ≤ k = k1 + 1→ (2k1 − 1, 2k1 − 1 − (k1 + 1), dmin = 4)BCH-Kode

Beispiel Kodeparameter im GF (25) für obige Kodes



(Kanal-)Kodierung: Bildungsverfahren für a ∈ A

• MultiplikationsverfahrenEin zyklischer Kode A der Länge n ist durch g(x) beschrieben. Das Ko-depolynom a(x) des Kanalkodewortes a entsteht aus der Multiplikationdes zu kodierenden Polynoms a∗(x) mit dem Generatorpolynom g(x):a(x) = a∗(x) g(x) .

Beispiel g(x) = x3 + x2 + 1 , a∗ = (1011) , a = ? , a(x) = ?

• DivisionsverfahrenEin zyklischer Kode A der Länge n ist durch g(x) (vom Grad k) be-schrieben. Das Kodepolynom a(x) des Kodewortes a entsteht aus derMultiplikation des zu kodierenden Polynoms a∗(x) mit xk und der Sub-traktion eines Restpolynoms r(x) (bedeutet im GF (2) Addition):a(x) = a∗(x) xk + r(x) , r(x) = (a∗(x) xk) mod g(x) .



(Kanal-)Kodierung: Bildungsverfahren für a ∈ A

• GeneratormatrixAuf der Grundlage des Generatorpolynoms g(x) = xk + uk−1xk−1 + ... +u0x0 ist eine Generatormatrix definiert:

Gl×n =

0 0 . . . 0 1 uk−1 . . . u1 u00 0 . . . 1 uk−1 uk−2 . . . u0 0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1 uk−1 . . . . . . . . . . . . . . . . . . . . . . . . . 0 0

.

Das Kanalkodewort a ∈ A bildet sich dann wie folgt:a = a∗ · G .

B Die Bildungsverfahren führen auf das gleiche Kanalkodealphabet. DieZuordnung der Quellenkodewörter zu den Kanalkodewörtern ist jedocheine andere.

B Die Anwendung des Divisionsverfahrens liefert immer einen sys-tematischen Kode.

B Das Bildungsverfahren muss dem Dekodierer bekannt sein.



(Kanal-)Dekodierung: Fehlererkennung

Jedes Kanalkodewort a muss in seiner Polynomdarstellung durch g(x) teilbarsein.Ist eine Empfangsfolge b(x) durch g(x) teilbar, dann ist b ∈ A definiert, sonstgilt b /∈ A und damit Fehlererkennung.B Fehlerpolynom (auch Prüfpolynom): s(x) = b(x) mod g(x) = 0 ?

Beispiel a = (1011100) , e = (0011010) , b ∈ A ?

Mit Sicherheit erkennbar:→ fe = dmin − 1

→ fb ≤ k

Erkennen aller Bündelfehler fb, bei denen der Abstand zwischen demersten und dem letzten fehlerhaften Element (einschließlich dieser) imFehlermuster kleiner oder gleich dem Grad k des Generatorpolynomsist.



(Kanal-)Dekodierung: Fehlererkennung

Struktur des Bündelfehlers:

e(x) = 0 xn−1 + 0 xn−2 + ... + 1 xi−1 + ... + 1 xi−fb + 0 xi−fb−1 + ... + 0 x0

= xi−fb (1 xfb−1 + ufb−2xfb−2 + ... + u1x1 + 1)

Sind darüber hinaus weitere Fehler erkennbar?2n − 2l

2n= 1 − 2−k → pF E = (1 − 2−k) · 100%

Beispiel: k = 5 : pF E = 96, 88%k = 8 : pF E = 99, 61%

Typische Fehlererkennungs- = CRC-Kodes:Zyklischer HAMMING-Kode: g(x) = m1(x)ABRAMSON-Kode: g(x) = m1(x)(x + 1)




Verkürzte und erweiterte BCH-Kodes

Ein Kanalkode heißt verkürzter Kode, wenn gilt:(n, l, dmin) → (n−?, l−?, dmin) , k =const .

Diese Kodes verlieren ihre zyklische Eigenschaft.Fehlererkennung und Fehlerkorrektur bleiben erhalten.Beispiel BCH-Kode für l = 12 , dE = 5 ?

Ein Kanalkode heißt erweiterter Kode, wenn• das Generatorpolynom g(x) mit m0(x) = (x + 1) erweitert wird:

(n < 2k1 − 1, l, dmin) → (n + 1, l, dmin + 1) ,

(n = 2k1 − 1, l, dmin) → (n, l − 1, dmin + 1) .

• über n = 2k1 − 1 ein Paritätsbit gesetzt wird.Vergleiche mit dem erweiterten HAMMING-Kode!

Die zyklische Eigenschaft geht mit n = 2k1 − 1 verloren.

Beispiel Fortsetzung: Erweiterung mit (x + 1)



Anwendung zyklischer Kodes

• Fehlererkennung → CRC-Kodesz. B. in Protokollen auf der Sicherungsschicht:CRC-5 in USB (g(x) = m1(x)), in Bluetooth (g(x) = m0(x) m1(x)) ;CRC-CCITT (CRC-16, g(x) = m0(x) m1(x)) in HDLC, X.25, ... ;Ethernet benutzt CRC-32 für Standard-Frames = 1518 Byte,Jumbo-Frames ≈ 9000 Byte (extended Ethernet Frames) sind nichtstandardisiert aber bieten vergleichbaren Schutz, warum:g(x) = m∗

1(x) = m7(x), primitiv, ai(x) = x91639 + x41678 + 1,im Bereich n < 91639 Bit ≈ 11455 Byte nur w(ai) ≥ 4z. B. beim Mobilfunk: CRC-3 in Kodeverkettung zur Fehlerverdeckung

• FehlerkorrekturSinnvoll bei der Satellitenkommunikation wegen der Laufzeiten oderin Speicher-Anwendungen, wenn einzelne Bereiche systematisch undunwiderruflich unbrauchbar sind.




Zusammenfassung IKT

Lehrveranstaltung begonnen mit

Informationstheorie beschäftigt sich mit zwei ProblemstellungenPraktikable Umsetzung mittels Kodierung

Inwieweit lässt sich Information kompakt darstellen?

B Quellenkodierung (verlustfreie QK: gleichmäßige Kodierung,SHANNON-FANO, HUFFMAN, Erweiterte Quellen, ...)

B RK = l(m) [·HK ] − HQ → 0Inwieweit überträgt man Information quasi fehlerfrei?

B Kanalkodierung, abhängig vom Störverhalten desÜbertragungskanalsB Dimensionierung des Übertragungsvorgangs,

Abschätzung von ∆l

B Dimensionierung des Kanalkodes R ≤ HT !

�


Dr.-Ing. Elke Franz elke.franz@tu-dresden › ... › studium › materialien › mat_ikt ›...

Documents

Transcript of Dr.-Ing. Elke Franz elke.franz@tu-dresden › ... › studium › materialien › mat_ikt ›...