64-544 Grundlagen der Signalverarbeitung und Robotik (Teil2)
Zusammenfassung Zeit-Diskrete und Statistische Signalverarbeitung
Click here to load reader
-
Upload
lukas-cavigelli -
Category
Documents
-
view
33 -
download
1
description
Transcript of Zusammenfassung Zeit-Diskrete und Statistische Signalverarbeitung
ZEITDISKRETE & STATISTISCHE
SIGNALVERARBEITUNG
Zusammenfassung zur Vorlesung von Prof. Dr. H.-A. Loeliger
Lukas Cavigelli, Dezember 2011
ZEITDISKRETE, LINEAR E SYSTEME
SIGNALE & SYSTEME
absolut summierbar stabil ∑ | [ ]|
quadr. summierbar endl. Energie ∑ | [ ]|
beschränkt | [ ]| Signalklassen:
( ): zeitdiskrete, reelle, absolut summierbare Signale
( ): zeitdiskrete, komplexe, beschränke Signale
( ): zeitkont., komplexe, quadr. integrierbate Signale
Entspr. Relationen für zeitkont. Sig. gelten nur für „brave“ Sig. Ein System besteht aus einem Konfigurationsraum und einem erlaubten Verhalten, einer Teilmenge des Konfigurationsraum.
Bsp.: Zweipol mit Widerstand Konfigurationsraum: {( ) } Erlaubtes Verhalten: ( ) für die gilt
Dynamisches System: System mit Variablen, die Funktionen der Zeit (=Signale) sind. Lineares System: wenn (i) der Konfig.-Raum ein Vektorraum und (ii) das erlaubte Verhalten ein Unterraum davon ist. i) bedeutet, dass man Konfigurationen addieren und skalar multiplizieren kann. ii) bedeutet, dass diese Operationen für Konfig. im erlaubten Verhalten wieder eine Konfig. im erlaubten Verhalten ergeben. Zusammenschalten von lin. Sys. ergibt wieder ein lin. Sys. blablabla
1.6 INVERSE SIGNALE & INVERSE FILTER
Inverses Signal: Das Signal , gegeben . ( ) ( ) [ ] [ ] [ ]
Superposition von Inversen: Seien [ ] und [ ] invers zu [ ], so auch [ ].
[ ] [ ] [ ] Nicht-Eindeutigkeit: ( ) bezeichnet kein eindeutiges Signal. Rechtsseitiges Inverses: Falls [ ] re-seitig und nicht überall null, dann gibt es genau ein rechtsseitiges, dazu inverses Signal.
1.7 EGALISATION (=ENTFALTUNG, ENTZERR.)
[ ] modelliert externe Störungen, thermisches Rauschen, Modellierungsfehler (Genauigkeit), Rundungsfehler. Gesucht:
( ) ( )
Linksseitig: unendl. viele pos. Potenzen von Rechtsseitig: unendl. viele neg. Potenzen von
Stabilitätsprobleme: An einem Beispiel: Gegeben: ( ) Rechtsseitiges Inverses: ( )
Linksseitiges Inverses: ( )
Problem: re-seitiges Inverses nicht stabil, li-seitiges Inverses stabil, aber nicht kausal. Ein brauchbares kausales Schätzfilter mit Verzögerung erhalten wir durch Abschneiden von ( ) nach Termen:
( ) ( )
Bsp.: Für : ( )
. Somit
haben wir ( ) ( ) ( ) mit ( ) ( )
DECISION-FEEDBACK EQUALIZER (DFE)
Verwendung: wenn li- und re-seitiges Inverses nicht stabil. Eigenschaften: nicht-linear Anwendbarkeit: wenn [ ] nur diskrete Werte annimmt Struktur:
linearer Vorwärtsfilter ( ), linearer Rückwärtsfilter ( ),
Entscheidungsfunktion, die auf den nächstmögl. Wert rundet. Erklärungsbild:
( ) ∑ [ ]
( ) ∑ [ ]
( ) ( ) ( ) ( )
mit ( ) ein stabiles, inverses Filter für ( ). Eine bessere Wahl für ( ) ist ein LMMSE-Filter.
Falls nur ( ) gegeben, dieses aufteilen wie oben (rot).
1.8 NORMALFORMEN, FALTUNGS-ALGORITH.
Impulsantwort: Direkt an der -Transformierten ablesbar. Kausal-Rationale Form:
( )
Regelungsnormalform:
Beobachter-Normalform:
Kausalität: genau dann, wenn deg(zähler) deg(Nenner)
1.9 POTENZ- & LAURENT-REIHEN
Konvergenzradius: (Satz von Cauchy-Hadamard) Eine Potenzreihe konv. absolut für mit | |
(
| | ⁄ )
Laurent-Reihen:
∑
∑
⏟ ( )
∑
⏟ ( )
( ) konv. für | | , ( ) konv. für | | Kreisring
1.10 -TRANSFORMATION
-Transformation:
( ) ∑ [ ]
mit Def.-Bereich ( ) { | | } (s. oben) Analytische -Transformation: Benötigt immer Def.-Bereich. Ist der Def.-Bereich leer, existiert die analyt. -Trafo nicht. blabla Reihenentw. der geom. Reihe?? Rechenregeln:
[ ] ( )
Linearität [ ] [ ] ( ) ( )
( ) ( ) ( )
Zeitversch. [ ] ( )
( ) ( )
Faltung [ ] [ ] ( ) ( )
( ) ( ) ( )
Zeitinversion [ ] ( )
( ) { ⁄ | | ⁄ } ( ) { | | }
Skalierung [ ] ( ) ( ⁄ )
( ) {| | | | | | } ( ) { | | }
-Ableitung [ ]
( )
( ) ( )
Nullen einf. { [ ]
( )
( ) { ⁄
| | ⁄
}
Kausaler Teil eines verschobenen kausalen Signals: Sei [ ] ein kausales Signal und ( ) ( ) mit , dann:
( ) ( ) ∑ [ ] mit ( ) ( ).
Anfangswert-Eigenschaft für kausale Signale: [ ] kausal, dann
[ ] | |
( )
Endwert-Eigenschaft für rationale, re-seitige Signale: wenn [ ] rational und re-seitig, so dass [ ] existiert, dann:
[ ]
( ) ( )
1.11 RATIONALE -TRANSFORMIERTE
( )
blabla kausalitä ( ) ( ) kausal Stabilität re-seitiger Signale: Ein rechtsseitiges Signal [ ] mit rationaler -Transformierter ( ) ist genau dann stabil, wenn alle Pole im Innern des Einheitskreises liegen. Stabilität – Satz 1.9: Für ein beliebiges Signal [ ] gilt:
Einheitskreis ( ) [ ] stabil [ ] stabil Einheitskreis ( )
Kausalität: das re-seitige Signal ist kausal, wenn ( ) ( )
Konvergenzgebiet: wenn [ ] ∑ [ ]
, dann ( ) ⋂ ( )
1.13 SPEKTRUM ZEITDISKRETER SIGNALE
Spektrum: = zeitdiskrete Fourier-Transformierte von [ ] ist die in -periodische Funktion
( ) ( )| ∑ [ ]
Frequenzgang: falls [ ] die Stossantwort eines LTI-Systems ist,
wird ( ) auch als Frequenzgang dieses sYstems bezeichnet.
Wohldefiniertheit Spektrum: Falls [ ] stabil ( =absolut
summierbar), dann ist das Spektrum ( ) wohldefiniert, d.h.
die Reihe ∑ [ ] konvergiert absolut.
Falls ( ) rational, dann: Spektrum wohldef. ( ) Falls ( ) nicht rational kann das Spektrum auch dann wohldefiniert sein, wenn der EK ein Rand von ( ) ist. Fourier-Reihe des Spektrums:
Falls [ ] stabil, ist [ ] die Fourier-Reihe von ( ).
Achtung: der Zeit-Ber. ist hier die FR des Spektrums! (komisch) Reelle Signale: [ ] stabil
[ ] ist reell ( ) ( )
Amplitudengang | ( )| einer rationalen Funkion ablesen:
blabalbla
1.14 ZUSAMMENGES. LI N. SYS.
Formel von Mason, ... in Vorlesung übersprungen
ZEITDISKRET & ZEITKONTINUIERLICH
2.1 LAPLACE- & FOURIER-TRANSFORMATION
Laplace-Transformierte:
( ) ∫ ( )
( ) { ( ) } { }
Stabilität: Ein Signal ist stabil, falls ∫ | ( )|
Faltungssatz: ( ) ( ) [ ] ( ) [ ] ( ) ( ) ( ) ( ) ( ) ( ) ( )
Stabilität: Ein re-seitiges Signal ( ) mit rationaler LT ( ) ist genau dann stabil ( =abs. integrierb.), wenn ( ) ( ) und alle Pole von ( ) in der offenen linken HE. Stabilität:
( ) ( ) ist stabil ( =abs. integrierb.) ( ) stabil ( )
Fourier-Transformation: LT auf der imaginären Achse
( ) ∫ ( )
Umkehrformel FT:
( )
∫ ( )
blabla
2.2 UMWANDLUNG ZEITDISKRET ZEITKONT.
2.3 ABTASTUNG
Regelmässige Abtastung: [ ] ( ) wobei : Abtastrate und meistens . Satz: Sei ( ) ein Signal. Dann ist die -Transformierte des abgetasteten Signals [ ] ( ): mit ( ) ⁄ ( )
( ) ( ) ∑ ( ) ∑ ( ( )
( )
)
Spektrum des abgetasteten Signals:
( ) ∑ ( ( ⁄ )
Das Spektrum ( ) mit eines abgetasteten Signals
ist gleich der Summe aller um ganzzahlige Vielfache von ⁄ verschobenen Kopien von ( ). Frequenzen von zeitdiskreten Signalen:
⁄
⁄
Nyquist-Shannon Abtasttheorem: ( ) ein Signal mit Spektrum ( ) für das gilt:
( ) für | | ⁄ Dann kann ( ) vollständig aus den Abtastwerten [ ] ( ) rekonstruiert werden durch:
( ) ( ) für | | ⁄
( ) ∑ ( ) (
)
Nyquist-Bedingung:
| |
Ist sie erfüllt, ist das Spektrum ( ) des abgetasteten Signals
die periodische Fortsetzung des Spektrums ( ) des Zeitsignals mit .
2.4 ZEITDISKRETE FIL TERUNG VON KONT. SIG .
Zeitdiskrete Filterung bei kont. Signalen: Ein solches System ist immer linear, aber nicht immer zeitinvar. Falls das Vorfilter ( ) und das Nachfilter ( ) die Nyquist-Bedingung erfüllen, dann ist das Gesamtsystem
Zeitinvariant mit Frequenzgang ( ) ( ) ( ).
2.5 DEZIMATION, INTE RPOLATION, UMTAST.
Interpolation: Erhöhnung der Abtastfrequenz Dezimation: Verringerung der Abtastfrequenz Zero-Stuffing Interpolation: [ ] ein zeitdisk. Sig. und Wir bilden ein neues zeitdiskretes Signal [ ], indem wir zwischen den Werten von [ ] jeweils Nullen einfügen.
In -Trafo: ( ) ( ) und -Trafo: ( ) ( )
Zur Interpolation müssen wir die spektralen Anteile ausserhalb | | ⁄ mit einem zeitdisk. Tiefpass weggefiltert werden.
Dezimationssatz: [ ] zeitdisk. und ( ) { | | } Sei und [ ] [ ], dann ist:
( ) ∑ ( ) ∑ ( ⁄ ( ) ⁄ )
mit ( ) { | |
}. Für Spektren gilt:
( ) ∑ ( ( ) ⁄ )
Blockdiagramme: - : Einfügen von Nullen - : Dezimation [ ] [ ] Umtastsatz: Idee: Interpolation und Dezimation kombinieren zur allgemeinen Umtastung. Gegeben untenstehendes Sys. Bedingungen: - | ( )| für | | ⁄ - | ( )| für | | ⁄ - Die Abtastkonversion erfolgt mit der Zwischenrate
und | ( )| für {
} | |
Dann ist das Gesamtsystem zeitinvariant mit Frequenzgang:
( ) ( ) ( ) (
) ( )
Die Umtastung kann mit nur einem Filter nach Interpolation und vor Dezimation realisiert werden.
2.6 FIR-FILTER & FENSTERFUNK TIONEN
Idealer zeitdiskreter Tiefpass:
( ) { | |
| | [ ]
( )
dieser ist weder kausal noch stabil, wie auch im zeitkont. Fensterfunktion: um realisierbares Filter [ ] [ ] zu finden - nur abschneiden:
[ ] { | | ⁄
| | ⁄
- Hanning-Fensterfunktion (raised-cosine window):
[ ] {
( (
)) | | ⁄
| | ⁄
dadurch wird dass Filter viel idealer als beim Abschneiden. - viele andere (Hamming, Kaiser, Bachmann, Lanczos-Funkt., …) Stossantwort eines kausalisierten Filters durch Windowing:
[ ⁄ ] [ ] [ ]
∑ [ ] [ ]
Für FIR-Filter gilt nach einer solchen Kausalisierung:
( ) ⁄ ⁄ |
2.7 ZEITKONT. & -DISKRETE I IR -FILTER
Entwurf von IIR-Filter: 1. Entwurf eines zeitkont. Filters. 2. Transformation in ein zeitdiskretes Filter. Arten: Butterworth, Chebyshev, elliptisch, Bessel, ... Butterworth-Filter: von Ordnung
( )
∏ ( ⁄ )
( )
( ) ist reell; liegen auf Kreis mit in der linken HE
Amplitudengang: | ( )| ( ) ( )
( ⁄ )
Butterworth-Filter gerader Ordnung:
( ) ∏
(
( ))
(
)
⁄
zeitkont. diskr. – impuls-invariante Transformation: Abtastung. Analyt. lösbar für Filter 2. Ord. Es entsteht Aliasing. zeitkont. diskr. – Bilineare Transformation: kein Aliasing.
( ) ( )|
Die Abbildung
ist umkehrbar
⁄
⁄ und bildet
die imag. Achse umkehrbar nach der Formel
( ⁄ ) auf den Einheitskreis ab:
( ) ( )|
( ⁄ )
( ⁄ )
( ⁄ )
Eine NS (Pol) des zeitkont. Filters führt beim zeitdisk. Filters
zu einer NS (Pol) bei ⁄
⁄ und einem Pol (NS) bei .
IIR-Filter sind oft viel leistungsfähiger als FIR-Filter
2.8 ANALOGE FILTER
nicht behandelt.
DFT UND FFT
3.1 ÜBERSICHT
3.2 DISKRETE FOURIER-TRANSFORMATION
[ ] ( ) ∑ [ ]
( ∑ [ ] ⁄
)
Voraussetzungen für :
Meistens wird ⁄ gewählt [ ] ( )| ⁄
Als Matrix:
[
[ ]
[ ]
[ ]
[ ]]
[
( )
( )
( ) ( ) ( )( )]
[
[ ]
[ ]
[ ]
[ ]]
Inversion der FFT: [ ]
∑ [ ]
Die inverse FFT ist eine FFT mit ausser Skalierung. Satz: Sei und , so dass , dann:
∑ {
FFT real/imaginärteil: Ein Vektor ist genau dann reell, wenn für seine FFT gilt:
[ ] [ ] UND [ ] [ ] Es folgt auch: [ ] [ ⁄ ] . Da die inv. FFT auch eine FFT ist, gilt das auch umgekehrt. FFT mit Horner-Schema:mit ist [ ] ( )
[ ] ( [ ] ( [ ] [ ]) )
3.3 ZEIT-ALIASING
Satz: Sei ein zeitdiskr. kompl. Sig. und und , so dass , dann: ( ) ( )| ( ) Definition Modulo-Operator:
( ) ( ) ∑ [ ] ( )
Bsp.: ( ) ( ) Aliasing: - im Zeitbereich: [ ] ∑ [ ]
- im Frequenzbereich: ( ) ( ) ( )
3.4 ZYKLISCHE FALTUNG
Definition zyklische Faltung:
[ ] ∑ [ ] [( ) ]
-Transformierte von ist ( ) ( )⏟
( )
Satz: DFT von ist [ ] ( ) ( )
3.5 COOLEY-TUKEY-FFT
weggelassen
3.6 SCHNELLE FALTUNG
weggelassen
WAHRSCHEINLICHKEITS -THEORIE
EINFÜHRUNG
NORMALVERTTEILUNG
DEFINITION W’KEITS -SYSTEM
Axiome von Kolmogorov: Ein W’keitssystem ist eine Tripel ( ), bestehend aus einer Menge , einer Menge von Teilmengen von und einer Funktion . Die Menge muss eine Sigma-Algebra sein, d.h.: 1. , 2. ist auch , 3. Falls Elemente von sind, ist auch ein Element von . Die Funktion muss ein W’keitsmass sein, d.h.: 1. gilt ( ) , 2. ( ) , 3. Falls Elemente von sind mit für , dann gilt ( ) ∑ ( )
. Die Elemente von heissen Ergebnisse, die Elemente von heissen Ereignisse. Daraus folgt, und noch ein paar weitere (S. 75) Unabhängigkeit: unabhängig ( ) ( ) ( )
DISKRETE ZUFALLSGRÖS SEN
Definition: Eine diskrete Zufallsgrösse ist eine Funktion mit einem endlichen oder abzählbar unendlichen Wertebereich , so dass für jedes die Menge { ( ) } ein Ereignis ist. Unabhängig: Zwei diskrete Zufallsgrössen sind unabhängig, falls im Wertebereich von und im Wertebereich von :
( ) ( ) ( ) blabla Verbundw‘keit
REELLE ZUFALLSGRÖSSE N
RANDOM
( ) ∑ ( )
∑ ( )
( ) ( ) ( ) ∫ ( )
VERBUND-W’KEITS -DICHTE
Unabhängigkeit:
unabhängig ( ) ( ) ( )
blabla
Marginalisierung: ( ) ∫ ( )
FUNKTIONEN VON ZUFAL LSGRÖSSEN
Gegeben: ( ) und ( ) und ( ), dann:
( ) ( ( ) ) ( ( )) ( ( ))
ERWARTUNGSWERT
Erwartungswert:
[ ] ∫ ( )
∑ ( )
Erwartungswert eines Vektors: ( )
[ ] ( [ ] [ ]) Erwartungswert einer Funktion:
[ ( )] ∫ ( ) ( )
∑ ( ) ( )
EW Linearität: [ ] [ ] [ ]. Dabei dürfen
auch Matrizen sein. Zudem gilt: [ ] [ ]
EW bei Unabhängigkeit & Unkorreliert:
unabhängig [ ] [ ] [ ]
unabhängig unkorreliert [ ] [ ] [ ]
EW bei Zufallsmatrizen:
[(
)] (
[ ] [ ]
[ ] [ ])
VARIANZ & KORRELATION
-tes Moment: [ ] Varianz: : ( ) [( ) ] [ ]
: ( ) [( )( )] [| | ]
[| | ] | | [ ( )] [ ( )] Korrelation & Kovarianz:
[ ] [ ]
[ ] [( )( )] [ ] [ ] [ ]
| [ ]| [ ] [ ] und | [
√ [ ]]|
[ ]
Unkorrelliert & Orthogonal:
unkorrelliert [ ] [ ] [ ] [ ]
unkorrelliert ( ) ( ) ( )
orthogonal [ ] [ ]
orthogonal [| | ] [| | ] [| | ] Korrelationsmatrix:
[ ]
(
[ ] [ ] [ ]
[ ] [ ] [ ]
[ ] [ ] [ ])
und (pos. semi-def.) Kovarianzmatrix: [( )( ) ]
(
[( )(
)] [( )(
)]
[( )(
)] [( )(
)]
)
[ ] [ ] und
ZEITDISKRETE STOCHAS TISCHE PROZESSE
(Stark) Stationär SSS: [ ] ist SSS, wenn die Verbundw’keitsdichte von [ ] [ ] [ ] nicht von abhängt. Satz: Prozess i.i.d. Prozess SSS Schwach stationär WSS: wenn
[ [ ]] und [ [ ] [ ]] unabh. von
[ [ ]]
[ [ ] [ ]] [ [ ] [ ]], also nur
von der Differenz abhängig ist Für [ ] WSS gilt: SSS WSS
Mittelwert: [ [ ]] [ ]
Autokorrelation: [ ] [ [ ] [ ]]
o [ ] [ ] Mittlere Leistung: [ ] [| [ ]| ] Weisses Rauschen: mit Leistung falls [ ] WSS mit und [ ] [ ]
Gemeinsam WSS: wenn [ ] [ ] WSS und [ [ ] [ ]]
für jedes unabh. von . Kreuzkorrelationsfunktion: wenn gemeinsam WSS, dann:
[ ] [ [ ] [ ]]
LINEARE FILTERUNG EINES WSS PROZESSES
Im weiteren sei [ ] WSS und [ ] ∑ [ ] [ ] .
ist WSS ∑ [ ]
gem. WSS Kreuzkorr.: [ ] [ ] [ ]
Autokorr.: [ ] [ ] [ ] [ ] [ ] Verallg. Leistungsdichtespektrum:
( ) ( [ ]) ∑ [ ]
( ) ( [ ])
bei linearer Filterung [ ] [ ] [ ] gilt:
( ) ( )|
( ) ( ) ( ) und ( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( )| ( )|
Matched Filter:
[ ] [ ] ( ) ( [ ]) (
)
für das Spektrum: ( ) ( )
falls [ ] : ( ) ( )
weiter ist: ( ) ( ) ( ) ( )
LEISTUNGSDICHTESPEKT RUM
Satz: Sei [ ] WSS, dann hat der ( ) von ( ) die Form { ⁄ | | } Satz: WSS, rational ohne Pole oder NS auf Einh.-Kreis,
dann kann ( ) als ( ) ( ) ( ) geschrieben werden. Pole & NS von sind Pole & NS von , die im Innern des EK. Das Signal ist stabil und re-seitig.
Satz: wie im vorherigen Satz kann als gefiltertes weisses Rauschen gedeutet werden, wobei das Filter ( ) ( ) rational, kausal & stabil ist. Whitening-Filter: [ ], wenn [ ] kausal und stabil ein kausales, stabiles Signal mit -Trafo ( )⁄ existiert
( ) ( ) ( ) Letztes bedeutet, dass weisses Rauschen ist. Für [ ] wir zuvor ist ( ) ( ) ( ) ein Whitening-Filter. Falls ( ) Pole oder NS auf dem EK hat, existiert kein Whitening-Filter.
BEDINGTE W‘KEITEN
Bedingte W’keit: ( | ) ( )
( ) mit ( )
dabei ist ( | ) wieder ein W’keitsmass Kettenregel: ( ) ( ) ( | ) ( | )
Bayes’sche Regel: ( | ) ( ) ( | )
( ) für ( )
TOTALE W‘KEIT
Vollst. Klasse von paarweise unvereinbaren Ereignissen: eine Menge { } von Ereignissen mit:
, falls und
Satz der totalen W’keit: Sei ein solche Klasse, dann gilt für jedes Ereignis :
( ) ( ) ( | ) ( ) ( | ) somit kann einiges umgeschrieben werden:
( | ) ( ) ( | )
∑ ( ) ( | ) ( )
( ) ( ) ∑ ( ) ( | )( )
( ) ∑ ( ) ( | )( )
Satz des totalen EW: [ ] ∑ ( ) [ | ]
dies gilt auch, wenn komplex, Vektor oder Matrix
WERTE V. ZUFALLSGRÖSSEN AL S BEDINGUNG
Diskrete Zufallsgrössen: ZV und ein Ereignis ( ) ( ) und ( ) ( )
| ( ) ( | ) und | ( | ) ( | )
( | ) ( ) | ( ) ( )⁄ m. ( ) ( )
( ) ∑ ( ) ( | )
| ( | ) ( ) ( )⁄
( ) ( ) ( | ) ( | ) [ ] ∑ [ | ] ( )
Reelle Zufallsgrössen: wie diskrete, aber mit statt und ∫ statt ∑
ENTSCHEIDUNGS- & SCHÄTZTHEORIE
( ) Ein , so dass ( ) ( ) MAP-Schätzregel: | ( | )
Unnormierte W’keitsdichten: Die Notation ( ) ( ) bedeutet ( ) ( ). Falls ( ) eine W’keitsdichte, ist der Skalierungsfaktor durch
die Bedingung ∫ ( )
eindeutig bestimmt.
BAYES’SCHE SCHÄTZUNG (MMSE)
Bayes’sche Schätzung: Minimiert die mittleren Kosten [ ( )| ]
[ ( )] [ ( )]
∫ ∫ [ ( )| ] ( )
Bayes’sche MMSE-Schätzregel: [ | ] minimiert mittleren Schätzfehler [| | | ] [ | ]. Kostenfunktion bei MMSE ist ( ) | | .
MAXIMUM-LIKELIHOOD-SCHÄTZUNG (ML)
Maximum-Likelihood-Regel: ( )
( ) | ( | )
Likelihood-Funktion: Bezeichnung für | ( | )
Invertierbarkeitsprinzip: Sei ( ), wobei eine invertierbare F. ist. Dann ist genau dann die ML-Schätzung von aus der Beobachtung , wenn ( ) die ML-Schätzung aus derselben Beobachtung ist.
BEISPIELE: VERRAUSCH TE MESSUNGEN
( )
√
( ( )
) (
)
von unabh., reell, normalvert., [ ] [ ]
Gesucht ist die Schätzfunktion Bayes’sche Schätzung: ( ) ( ) | ( | ) ( ) ( )
( ( )
) (
( )
)
| ( | ) ( ) (
(
) (
))
Der Vergleich mit ( ) zeigt, dass | ( | ) normalverteilt mit
( ) [ | ] | (
)
[| | | ] | [ | ] (
)
ML-Schätzung:
| ( | ) ( ) (
) ( )
Der Vergleich mit ( ) zeigt, dass die Likelihood-Funktion für festes bis auf konst. Faktor eine Normalvert. mit:
[ ( )]
[ ( )]
GRUNDBEGRIFFE DER ENTSCHEIDUNGS-TH.
Entscheidungsregeln: Bayes: ∑ ( ) ( ) | ( | )
MAP: ( ) | ( | )
ML: | ( | )
LMMSE-SCHÄTZUNG
Schätzfunktion ( ) soll linear sein.
Es soll [| | ] minimiert werden.
LMMSE-Schätzung i.d.R. schlechter als Bayes’sche.
Ansatz: ( ) ∑
Orthogonalitätsprinzip: ∑ ist genau dann eine
LMMSE-Schätzung von aus , wenn die Bedingung
[( ) ] für
Dann ist der Fehler orthogonal zu allen Beobachtungen.
LMMSE-Fehler: ist LMMSE-Schätzung von aus
Dann gilt: [| | ] [ ( )] [| | ] [| |
]
Erweiterung von LMMSE: In der Realität wird LMMSE oft zu
( ) ∑ erweitert.
Dabei reicht die Orthogonalitätsbed. nicht mehr aus (unterbestimmt). Dazu eine zusätzliche Beobachtung einfügen.
WIENER-FILTER
Seien [ ] [ ] zwei gemeinsam SSS Prozesse.
Gesucht: LTI-Filter [ ], s.d. [ ] [ ] [ ] einen möglichst
kleinen Fehler [| [ ] [ ]| ] ergibt. Zudem soll [ ]
für und mit { }.
[ ] ist bestimmt durch das Orthogonalitätsprinzip. Dieses lässt sich umformulieren zur Wiener-Hopf-Gleichung:
∑ [ ] [ ]
[ ]
Ein Filter [ ], das diese Gl. erfüllt, wird Wienerfilter genannt.
Mittlerer quadratischer Fehler des Wienerfilters ergibt sich zu:
[| [ ] [ ]| ] [ ] ∑ [ ] [ ]
Wiener-Hopf-Gl. in Matrixform mit :
Ein solches Filter [ ], bzw. dessen kausale Version [ ] [ ] wird FIR Wiener-Filter gennant. Für kann die Wiener-Hopf-Gl. in der z-Trafo ausgedrückt werden: ( ) ( ) ( ). Es folgt das
Nicht-kausales Wiener-Filter: ( ) ( )
( ) EK ( )
KAUSALES WIENER-FILTER
übersprungen
LMMSE-EGALISATION
[ ] [ ] [ ] [ ] mit SSS, [ ] , unkorreliert Es folgt [ ] [ ] und somit ( ) ( ). Weiters [ ] [ ] [ ] und ( ) ( ) ( ) Gesuchtes Wiener-Filter ( ) zum inversen Filter ( )⁄ :
( ) ( )
( )
( ) ( )
( ) ( ) ( ) ( )
Die Reihenschaltung von ( ) mit ( ) hat die ÜF ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) mit Frequenzgang:
( ) ( )| ( )| ( )|
( )| ( )| ( )
( )
( ) ( )
LMS-ALGORITHMUS
In der Praxis wird statt eines expliziten Wiener-Filters meist ein adaptives Filter eingesetzt, das zum Wiener-Filter konv. soll. Adaption der Filterkoeff. mittels LMS-Algorithmus.
Ausgangslage: [ ] ∑ [ ] [ ]
Zwei Betriebsmodi: eingefroren: [ ] [ ] und
adaptierend: [ ] [ ] ( [ ] [ ]) [ ]
TRELLIS ALGORITHMEN
VITERBI-ALGORITHMUS
( ) Endzustand von , ( ) Init-Zustand von additive Kosten Min-Summe: Pfadmetrik = Summe der Zweigmetriken Initialisierung: ( ) für alle Anfangszustände
Berechnung der Zustandsmetriken:
( )
( )
( ( )) ( )
Haupteigenschaft: ( ) minimale Pfadmetrik von einem Anfangszustand zum Zustand
multiplikativer Gewinn Max-Produkt: Pfadmetrik = Produkt der Zweigmetriken Initialisierung: ( ) für alle Anfangszustände
Zustandsmetrik: ( ) Zweige bmit rst(b) s
( ( )) ( )
Haupteigenschaft: ( ) max. Pfadmetrik von einem Anfangszustand zum Zustand .
W’KEITS-MODELLE MIT TRELLIS -STRUKTUR
Gegeben sei Trellis mit Abschnitten und ( ) sei ein zufälliger Pfad. Beobachtet wird aber nicht , sondern der reelle Zufallsvektor ( ) mit | ( | ) ∏ |
( | )
Für jeden Abschnitt der Trellis steht also eine Beobachtung zur Verfügung, die nur von diesem Abschnitt abhängt. Viterbi-Algorithmus kann folgendes berechnen: ML-Entscheidung MAP-Entscheidung für einen Pfad Summe-Produkt-Algorithmus kann folgendes berechnen: a-posteriori W’keit eines Pfades a-posteriori W’keiten sämtlicher Zustände a-posteriori W’keiten sämtlicher Zweige Ausser bei der ML-Entscheidung muss auch eine a-priori W’keit ( ) ( ) gegeben sein, die eine der beiden folgenden Formen haben muss.
Gleichverteilung: ( )
Pfade
Markov-Eigenschaft: ( | ) ( | ( )),
, d.h. alle Infos über in ist im Zustand ( ) ( ) enthalten.
Beispiel: Inversion FIR-Filter FIR-Filter:
Resultierendes Trellis für binäres { } Eingangssignal:
Im Kästchen: Zustand, Übergang: (eingang; ausgang)
Falls die Filterordnung und die Grösse des eingangsalphabetes ist, hat die resultierende Trallis in jedem Abschnitt Zustände und Zweige. Zur Darsteellung als Trellis ist die Linearität nicht notwendig, lediglich die Darstellbarkeit mit endlich vielen Zuständen.
PFADSCHÄTZUNG MIT VI TERBI-ALGORITHMUS
ML-Entscheidung für einen Pfad:
| ( | )
∏ | ( | )
Lösungsweg 1: Max-Produkt-Viterbi mit Zweigmetrik ( ) |
( | )
Lösungsweg 2: Min-Sum-Viterbi mit Zweigmetrik
( ) ( | ( | ))
Beispiel (forts.) Hier ist:
| ( | ) ( ( ))
√ (
( ( ))
)
und ( | ( | )) (√ )
( ( ))
Vereinfachung mit: ( ( ) ) ( )
führt zu: ( ) ( ( ))
MAP-Entscheidung für einen Pfad:
SUMME-PRODUKT-ALGORITHMUS (BCJR)
A-POSTERIORE W’KEIT MIT SUMME-PROD-ALG
heute bis und mit 1.8 nächste Woche bis und mit 1.12 Beispiel zu DFE!!! laurentreihe von geom. reihe
( ) ( )
Transformationstabelle ausdrucken!!
ADMINISTRATIVES
Test: 3h, alles zugelassen, auch Rechner