03 Multimedia Analyse Technologien - Theoretische Einführung SS 2012

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

EINFÜHRUNG IN DIE VIDEO ANALYSE-TECHNOLOGIEN

Seminar: MULTIMEDIA ANALYSE-TECHNOLOGIEN

SeminarDr. Harald Sack / Jörg Waitelonis

Bernhard Quehl / Haojin Yang / Christian HentschelHasso-Plattner-Institut für Softwaresystemtechnik

Seminar: Multimedia-Analyse-Technologien 2012, Hasso-Plattner-Institut, Universität Potsdam

Multimedia Analyse-Technologien

1. Motivation / Einführung (menschl. Wahrnehmung, Farbmodelle)

2. Digitalisierung von Bildern (Abtastung, Kompressionsverfahren, JPEG)

3. Videokodierung und -kompression (Subsamping, prediktive Kodierung, MPEG-Verfahren, Formate und Codecs)

4. Visuelle Analyse

1. Low-Level Processing (Filter, Kanten, morph. Operation, ...)

2. Bildbeschreibende Eigenschaften (Features: Norm, Histogramme, Entropie, LBP, Distanzmaße)

3. Analysemethoden (analytische Methoden, Lernverfahren)

4. High-Level Processing (Beispiele: Segmentierung, OCR, Faces, u. A. )

5. SEMEX Demo

6. naive Verfahren zur Key-Frame Extraction

Multimedia-Analyse-Technologien1.1 Multimedia und Kodierung

Multimediale Daten im Computer

•Definition Multimedia

•Kommen bei der Darstellung von Information mehrere, verschiedenartige Medien zum Einsatz, wie z.B. Text, Bild und Ton, so spricht man von einer multimedialen Darstellung der Information.

•Multimediale Darstellung soll dem Betrachter die Wissensaufnahme von Inhalten erleichtern, da der Benutzer die Informationen mit verschiedenen Sinnesorganen aufnimmt

alphanumerischeInformation

graphischeInformation

Audio-information

Video-information

Medientypen•zeitunabhängige Medien

•Zeitkomponente während der Aufzeichnung ohne Bedeutung

•z.B. Text, Grafik

•„diskrete Medien“

•zeitabhängige Medien

•Information verändert sich mit der Zeit

•Gehalt einer Einzelinformation (zu einem diskreten Zeitpunkt) nicht signifikant

•Gesamtinformation erschließt sich erst aus dem zeitlichen Ablauf

•Zeitkomponente kritisch sowohl bei Aufzeichnung als auch bei Wiedergabe

•z.B. Audio, Video

Multimediakodierung•Audio- /Videoinformation

•Audio-/Videoinformation liegt analog vor und muss vor einer entsprechenden Kodierung zunächst (zeitabhängig) digitalisiert werden.

•man unterscheidet verlustfreie und verlustbehaftete Kodierung von Audio-/Videoinformation

•verlustfreie Kodierung:

•Audio: AU, WAV, ...

•Video: DV

•verlustbehaftete Kodierung:

•Audio: MP3, MPEG-2 AAC, MPEG-4 AAC, ...

•Video: MPEG-1, MPEG-2, MPEG-4, H.264, X.264, DVCPro, ...

Multimedia-Analyse-Technologien1.2 Bild- und Videokodierung / Farbe und Farbmodelle

Farbe und Farbmodelle•Was ist Farbe?

•Farben sind die Grundbestandteile des weißen Lichts

•Prisma zerlegt weißes Licht in seine spektralen Bestandteile

•Lichtstrahlen besitzen keine Farbe sondern eine spektrale Energieverteilung

1648 Marcus Marci1672 Isaac Newton

λ=780 nm λ=380 nm

Infrarot UVsichtbares Licht

Elektromagnetisches Spektrum

PrismaIsaac Newton(1643-1727)

Marcus Marci(1595-1667)

Farbe und Farbmodelle•1931 wurde als erstes Modell

zur objektiven Farbbestimmungdie Farbnormtafel von derinternationalen Beleuchtungs-kommision festgelegt(Commission Internationale d´Eclairage, CIE)

•Farben werden aus Farbanteilen derGrundfarben (Rot, Grün, Blau)gemischt und in ein 2-dimensionalesKoordinatensystem projiziert

CIE Farbnormtafel, 1931

Farbe und Farbmodelle•RGB-Farbmodell

•additive Farbmischung

•Mischung selbstleuchtender Grundfarben

•Rot (700nm)

•Grün (546,1nm)

•Blau (435,8nm)

•Farbe wird als Tripel (r,g,b) aus den jeweiligen Farbanteilen angegeben

•z.B. bei 8 Bit pro Farbkanal:gelb = (255,255,0)

additive Farbmischung

Farbe und Farbmodelle•RGB-Farbmodell

•Bsp.:

additive Farbmischung

Farbe und Farbmodelle•CMY(K)-Farbmodell

•subtraktive Farbmischung

•Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen

•Grundfarben Cyan / Magenta / Yellow

•Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen

Lichtstrahl bestimmte Farbanteilewerden reflektiert,andere absorbiert

subtraktive Farbmischung

Farbe und Farbmodelle•CMY(K)-Farbmodell

•subtraktive Farbmischung

•Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen

•Grundfarben Cyan / Magenta / Yellow

•Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen

Lichtstrahl bestimmte Farbanteilewerden reflektiert,andere absorbiert

Farbe und Farbmodelle•CMY(K) Farbmodell

•Bsp.:

Farbe und Farbmodelle•YUV-Farbmodell

•Zerlegung der Farben in

•Helligkeitsanteil (Luminanz) – Y-Komponente

•Farbanteil (Chrominanz) – U und V Komponente

•Historisch in Verbindung mit dem Farbfernsehens entstanden

•Rückwärtskompatibilität mit Schwarzweiß-Empfängern

•daher separater Helligkeitskanal

•Ausnutzung der unterschiedlichen Empfindlichkeit des menschlichen Auges für Helligkeits- und Farbunterschiede

rot grün blau

4. Visuelle Analyse

5. SEMEX Demo

Multimedia-Analyse-Technologien2. Digitalisierung / Visuelle Wahrnehmung

Visuelle Wahrnehmung des Menschen•Das menschliche Auge

Visuelle Wahrnehmung des Menschen•Licht- / Farbempfindlichkeit

•Netzhaut enthält zwei Typen von Licht-rezeptoren im menschlichen Auge:

•ZapfenFarb- und Helligkeitsempfindlich,verantwortlich für Farbsehen,im zentralen Retinabereich,ca. 6 Millionen, man unterscheidet drei Typen von Zapfen, die jeweils über unterschiedliches Sehpigment verfügen

•StäbchenHelligkeitsempfindlichauch bei geringer Beleuchtungim peripheren Retinabereichca. 120 Millionen

Multimedia-Analyse-Technologien2. Digitalisierung / Visuelle Wahrnehmung

Verlustbehaftete JPEG Kodierung•JPEG, Joint Photographic Experts Group

•verlustbehaftete Komprimierung, sehr gut geeignet für natürliche Bildquellen

•Komprimierung bis 1:20 bei kaum nennenswerten Verlust der Darstellungsqualität

•Ausnutzung der Physiologie der menschlichen Wahrnehmung

•Das menschliche Auge reagiert auf Änderungen der Helligkeit empfindlicher als auf Farbänderungen

•Natürliche Bildquellen besitzen

•häufig Farb- / Helligkeitsverläufe

•häufig keine starken Kontrastschwankungen

Multimedia-Analyse-Technologien2. Digitalisierung / JPEG Kodierung

Verlustbehaftete JPEG Kodierung•Natürliche Bildquellen besitzen

Helligkeit benachbarte Bildpunkte unterscheidet sich kaum

Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf

Verlustbehaftete JPEG Kodierung•Natürliche Bildquellen besitzen

Helligkeit benachbarte Bildpunkte unterscheidet sich kaum

Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf

JPEG Komprimierung - Ablauf•

Farbraum-wechsel

DiskreteCosinus-

Transformation

Chroma-Subsampling

Quantisierungmodifizierte

HuffmanKodierung

Originalbild komprimiertes Bild

schwächereFarbempfindlichkeitdes menschlichenAuges

Filterung von Bildanteilenmit starken Kontrastschwankungen

JPEG Komprimierung - Ablauf

(1) Farbraumwechsel (r,g,b) →(Y,Cb,Cr)

Farbraum-wechsel

Originalbild

(r,g,b)

Luminanz

Chrominanz

+0,299 +0,587 +0,114+0,1687 −0,3313 +0,5

+0,5 −0,4187 −0,081

⎜ ⎜ ⎜

⎟ ⎟ ⎟ ⋅

⎜ ⎜ ⎜

⎟ ⎟ ⎟

⎜ ⎜ ⎜

⎟ ⎟ ⎟

JPEG Komprimierung - Ablauf(2) Chroma Subsampling

Y-Pixel

Cr-Pixel

Y-Pixel

Cb-Pixel

Cr-Pixel

Y-Pixel

Cb-Pixel

Cr-Pixel

Y-Pixel

Statt 4·(r,g,b) 4·Y+1·(Cb+Cr)

4·(8+8+8)=96 Bit 4·8+(8+8)=48 Bit

4:4:4 – kein Subsampling

Luminanzpixel

Chrominanzpixel

4:2:2 – horizontales Subsampling um Faktor 2

Luminanzpixel

Chrominanzpixel

4:1:1 – horizontales Subsampling um Faktor 4

4:2:0 – horizontales und vertikales Subsampling um Faktor 2

4:2:0 Subsampling285 KB

Original PNG968 KB

JPEG Komprimierung - Ablauf(3) Diskrete Cosinus-Transformation (DCT)

•versetzt einzelne Helligkeitswerte von Ortsraum in Frequenzraum

•Jede Komponente (Y,Cb,Cr) wird separat transformiert

•Bild wird dazu in Blöcke 8x8-Pixel zerlegt

(7,7)8x8 Block

F(0,0)

F(7,7)

transformierter 8x8 Block

•Das Prinzip der Fouriertransformation:Jede periodische Funktion lässt sich als Summevon Sinus- und Cosinus-Funktionen darstellen.

Jean-Babtiste Joseph Baron de Fourier

(1768-1830)

Ortsraum

(1768-1830)

Ortsraum

(1768-1830)

Frequenz-Spektrum

Ortsraum

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)

Frequenzraum

F(u,v)

• Jeder Punkt bezeichnet Anteil einer bestimmten Frequenz

• F(0,0) - niedrigste Frequenz• F(7,7) - höchste Frequenz

Niedrige Frequenz = langsame ÄnderungHohe Frequenz = rasche Änderung

„natürliche“ Bilder besitzen viele kontinuierliche Farb-/Helligkeitsübergänged.h. Hauptanteil der Bildinformation liegt in den niedrigen Frequenzen

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)

45 5045 45 50

50 5045

5653 53

535350

43 48 61 63

68 504858

45 48 56

53635656

45 5050 61 61

425 -6-25 -5

-1 -710

-3 -3 4

0 0 0 -1

-3 2 -1

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Quantisierung

Hohe Frequenzenwerden entfernt

Niedrige Frequenzenbleiben erhalten

)1 11 1 8

1 1 4 8

16 16168

3216168

16 328 8 16

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung

Mittelwert

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung

Mittelwert

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung

• Kodierung variabler Länge mit fester Kodierungsvorschrift• Zusammenfassung von Null-Ketten mit Lauflängenkodierung (RLE-Kodierung)

Bits Wertebereich1 -1, +1

2 -3,-2, +2,+3

3 -7…-4, +4…7

4 -15…-8, 8…15

5 -31…-16, 16…31

6 -63…-32, 32…63

7 -127…-64, 64…127

8 -255..-128, 128…255

9 -511…-256, 256…511

JPEG Komprimierung - Ablauf•

Farbraum-wechsel

DiskreteCosinus-

Transformation

Chroma-Subsampling

Quantisierungmodifizierte

HuffmanKodierung

Originalbild komprimiertes Bild

schwächereFarbempfindlichkeitdes menschlichenAuges

Filterung von Bildanteilenmit starken Kontrastschwankungen

Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung

Quality : 90%Size: 21,868 bytes

4. Visuelle Analyse

5. SEMEX Demo

Videokodierung und Bewegungswahrnehmung•Grundlagen

•Video (Film):kontinuierliche Abfolge von aufeinander folgenden Einzelbildern, die aufgrund der Netzhautträgheit des Menschen als zusammen-hängende, bewegte Sequenz erscheint.

•Netzhautträgheit:das von der Netzhaut (Retina) wahrgenommene Bild bleibt für 1/16s auf dieser bestehen, ehe es verlischt

•Kodierung einer Video(Film)sequenz erfordert sehr viel Speicherplatz

•Bild und Ton müssen synchron ablaufen

•erfordert hohe Bandbreite

Multimedia-Analyse-Technologien3. Videokodierung und Kompression

Videokodierung und Bewegungswahrnehmung•Analoge Videotechnik

•Farbfernsehen – PAL

•PAL (Phase Alternation Line, Europa) sendet mit Bildwiederholfrequenz von 25 Hz und einer Bildauflösung von 720x576 Pixeln, wobei 2 gegenseitig verschränkte Halbbilder mit im Takt von jeweils 1/50s gesendet werden

gerade Zeilen ungerade Zeilen

1/50s 1/50s

PAL interlaced

Videokodierung und Bewegungswahrnehmung•PAL (SD576i)- notwendige Bandbreite

•Bildauflösung: 720 x 576 Pixel

•Bildwiederholfrequenz: 25 Hz

•Farbtiefe: 8 Bit

•Subsampling: 4:2:2

•Benötigte Bandbreite: 720 x 576 x 25 x 8 + 2 x (360 x 576 x 25 x 8) = 166 Mbps

Luminanz Chrominanz

Videokodierung und Bewegungswahrnehmung•HDTV (HD1080p) - notwendige Bandbreite

•Bildauflösung: z.B. 1920 x 1080 Pixel

•Bildwiederholfrequenz: bis 60 Hz

•Farbtiefe: 8 Bit

•Subsampling: 4:2:2

•Benötigte Bandbreite (Beispiel): 1920x1080x60x8 + 2x(960x1080x60x8) = 1,99 Gbps

Prediktive Kodierung•Ausnutzung von inhärenten Redundanzen in Videosequenzen

•z.B. Hintergrund statisch, nur Objekt im Vordergrund bewegt

•Objekte und Objektbewegungen müssen erkannt werden

•Bewegung kann als Grauwertveränderungder Position von Bildpunkten definiert werden

•Bei fester Kameraeinstellung ändert sich derBildinhalt durch Bewegung der Objekte in der Szene

•Verfahren zur Bewegungsprädiktion:

• Vorhersage ohne semantischen Kontext

• Modellbasierte Verfahren, z.B. bei Videotelefonie, Nachrichtensprecher, etc.

• Objekt-/Regionenbasierte Verfahren, d.h. Bildsegmentierung und Extraktion von Objekten

Prediktive Kodierung•Block-Matching

Referenzbild RIn-k

• Annahme:

• benachbarte Bildpunkte führen die gleiche Bewegung aus.

• Vorgehen

• Unterteile das vorherzusagende Bild In in gleich große Blöcke (Segmente)

• Für jedes Segment bestimme im Referenzbild RIn-k einen Block mit möglichst gleichem Inhalt

Originalbild In

Prediktive Kodierung•Block-Matching

Referenzbild RIn-k

• Vorgehen (Fortsetzung):

• Ist ein passendes Segment gefunden, bestimme den Verschiebevektor v=(vx,vy)

• Vollständige Prädiktion ist nur möglich, wenn für jedes Segment in In ein passender Block im Referenzbild gefunden wird.

• Das Prädiktionsbild PIn wird wie eine Collage aus den gefundenen Segmenten des Referenzbildes zusammengesetzt und sieht bei erfolgreicher Prädiktion dem Originalbild In sehr ähnlich.

Originalbild In

Video Codecs und Komprimierverfahren

Codec Komprimierungs-verfahrenDatencontainer implementiertverpackt kodierte

Daten in

DivXRealVideo

MPEG 1

MPEG 2

MPEG 4

RealMedia

vobasf QuickTime Nero

HDX4mp4

Videokomprimierung nach MPEG•MPEG - Moving Pictures Experts Group

•eigentlich ISO/IEC JTC1/SC29/WG11

•seit 1988, ca. 360 Mitglieder aus Industrie/Forschung

•MPEG-1 Standard 1992

•VCD, MP3-Audiokomprimierung

•Datenrate 1,5 Mbps erfordert Komprimierung von >100:1

•Digitalfernsehen (DVB), DVD

•MPEG-3 Standard in MPEG-2 integriert (HDTV)

•Interaktives Audio und Video über drahtlose Netze und Internet

•HDTV, DRM, komplexe Objektverwaltung

MPEG-1 Videokodierung - Prinzipieller Ablauf•

Farbkonversionnach YCrCb

DCTTransformation Quantisierung Lauflängen

KodierungBlock-

vergleich

Videoeinzelbilder

Referenz-bild

HuffmanKodierung

RGB YUV

YUV Fehler-/Differenzwerte DCT-Werte quantisierte

DCT-WerteNullen

unterdrückt

Codevariabler Länge

MPEG Bitstrom

InverseQuantisierungInverse DCT

quantisierteDCT-Werte

DCT-WerteYUV

MPEG-1 Videokodierung - Datenstrom Struktur•

Videosequenz

Group of Pictures

Einzelbild

Makroblock

16 x 16 Pixel

8 x 8 Pixel

MPEG-1 Videokodierung •Farbraumkonvertierung → YCrCb (4:2:2)

•Aufteilung der Einzelbilder in Zeilenabschnitte (Slices) und Makroblöcke

•16 x 16 Pixel Luminanz (Makroblock)

• 8 x 8 Pixel Chrominanz (Block)

•Bewegungsvorhersagealgorithmus

•Vergleiche Luminanzmakroblöcke aufeinander folgender Einzelbilder

•Ortsveränderungen von Luminanzmakroblöcken werden über Vektoren kodiert

•Qualität abhängig von Suchraumgröße

MPEG-1 Videokodierung •Farbraumkonvertierung → YCrCb (4:2:2)

•Bewegungsvorhersagealgorithmus

•DCT – Transformation

•Unterscheide Einzelbildvarianten:

•Intra-Frame (I-Frame)vollständiges Einzelbild, keine Bewegungsvorhersage, stets erstes Bild einer Sequenz (Standbild)

•Predictive Frame (P-Frame)nutzt zusätzlich Bewegungsvorhersage, bezieht sich auf vorhergehendes I-Frame

•Bidirectional Frame (B-Frame)Bewegungsvorhersage, bezieht sich auf vorhergehendes/nachfolgendes P-/I-Frame

MPEG-1 Videokodierung •Frametypen

•I-Frame muss nach spätestens 12 Frames wieder folgen

•Reihenfolge und jeweilige Wiederholungsanzahl der einzelnen Framessonst nicht vorgeschrieben

I B B B P B B B P B B B P B B B I

MPEG-1 Videokodierung •P-Frame Kodierung

Referenz-Frame Ziel-Frame

1. Suche Best Match

2. Verschiebungsvektor1. Suche Best Match

3. Differenzbildung

MPEG-1 Videokodierung •B-Frame Kodierung

Past Referenz Ziel-Frame Future Referenz

- ( + )/2

Past Referenz Ziel-Frame

1. Suche Best Match

Future Referenz

- ( + )/2

Past Referenz Ziel-Frame

1. Suche Best Match2. Verschiebungsvektoren

3. Differenzbildung

Future Referenz

- ( + )/2

MPEG-1 Videokodierung •Typische Kompressionsfaktoren (SD576)

Frame Size Rate

I 92 kB 7:1

P 32 kB 20:1

B 13 kB 50:1

average 26 kB 25:1

MPEG-1 Videokodierung •MPEG Datenstrom

Sequence…SequenceSequence

GOP…GOPQTsStrParVidParSqc SC

Pict…PictGOPParTCodeGOP SC

Slice…SliceSliceEncodeBufferTypeP SC

MB…MBQscaleVPosS SC

… b5b0CBPQScaleMVTypeAddrln

Sequence Layer

Group of PicturesLayer

Picture Layer

Slice Layer

Macroblock Layer

Block Layer

4. Visuelle Analyse

5. SEMEX Demo

4. Visuelle Analyse

5. SEMEX Demo

Verfahren zur Bildbearbeitung und Bildanalyse (Low-Level)•Punktweise-Bildbearbeitung (Binärbilder, Grauwerttransformation)

•Lineare lokale Filter (LSI-Filter, Faltung, Laplace & Co.)

•Nichtlineare lokale Filter (Erosion, Dilatation, Rangordnungsfilter)

•Konturen (Kantenrichtung)

•Bildsegmentierung (Skeleton)

•Optical Flow

•Bildtransformationen (diskrete Fourier-Transformation, Cosinus-Transformation)

•...

Multimedia Analyse-Technologien4. Visuelle Analyse: Low-Level Processing

G{0, .., 255}→ B{0, 1}

g(x, y) =

�1, if f(x, y) >= T

0, OtherwiseT = threshold

Binärbild: Das Bild bestehen aus zwei Farben (z.B. Schwarz und Weiß)

Binarisierung:

T = 128

T = 80

cv.Threshold(...)

Binarisierung

Ir,g,b(x, y) → Ig(x, y) = 0.299 ∗ Ir + 0.587 ∗ Ig + 0.114 ∗ Ib

cv.cvtColor(img, img, CV_RGB2gray);

Grauwerttransformation

Überführen eines RGB-Bildes in einGrauwertbild (mit z.B. 256 Grauwerten).

cv.Filter2D(src, dst, kernel)

Faltung (Convolution)

Pixel für Pixel wird aus der Nachbarschaft (definiert durch den Faltungs-Kern) der neue Wert für den Pixel im resultierenden Bild berechnet.

Image: https://developer.apple.com/

BildFaltungsbereich

Ableitung

cv.Sobel(src, dst, xorder, yorder, apertureSize = 3)

Faltung (Convolution): Sobel Operator

45 44 4839 255 50

42 51 54

3942444548505154255

Ähnlich wie Faltung, benutzt jedoch eine Sortieroperation.

Wahl der Position bestimmt die Art des Rangordnungsfilters (z.B. Median)

Faltungsbereich

Median

cv.MedianBlur(src, dst, size)

Rangordnungsfilter: Median

Median Filter:

•3x3 Nachbarschaft

•Kantenerhaltend

•Robustheit gegen Ausreißer

Dilatation: Faltung des Bildes durch Maximum Rangordnungsfilter

Erosion: Faltung des Bildes durch Minimum Rangordnungsfilter

Opening: Erosion und Dilatation(kleine helle Strukturen Filtern)

Closing: Dilatation und Erosion (kleine dunkle Strukturen filtern)

BEB DB

DB CB=EDB EEDB OCB=DEEDB

cv.Dilate(image,image,element,2)cv.Erode(image,image,element,2)

Morphologische Operationen: Dilatation, Erosion

Die Kantenrichtung ermittelt sich aus der Richtung (bzw. dem Winkel) des stärksten Anstiegs des Gradienten

Gradient Berechnung mittels Sobel Filter :

Richtung des Gradienten:

vgl. OpenCV motion analysis and object tracking

Kantenrichtung

Berechnung einer innere Skelettlinie von einen flächenhaften Bildobjekt

Berechnung: Distanzfunktion D(x,y) die den Abstand eines inneren Punktes (x,y) zu dem naheliegendsten Randpunkt angibt.

Mittelachse Definition:Punkte p, für die D(p) ein lokales Maximum in einer bestimmten Richtung ist.

Skelletierung (Sceleton)

4. Visuelle Analyse

5. SEMEX Demo

Multimedia Analyse-Technologien4. Visuelle Analyse: Features

Analyse Features und Invarianten•Histogramme

•Entropie

•Local Binary Pattern

•Distanzmaße

•uvm.

h = Höhe, b = Breite des Bildes

Definitionsmenge (Grauwert) :

Wertebereich entspricht dann der Größe des Bildes:

Der Wert des Histogramms H an der Stelle i gibt an,wie viele Pixel des Bildes die Intensität i haben

•(graphische) Darstellung der Häufigkeitsverteilung metrisch skalierter Merkmale•Grauwert-Histogramm beschreibt die Grauwert Verteilung in einem Bild

Histogramme

•RGB-Histogramm

•Kantenrichtungs-Histogramm / Histogram of Oriented Gradients (HOG)

•Optical Flow Histogramm•

Histogramme sind invariant gegenüber:•Rotation•Translation (Verschiebung)

Histogramme

• Maß für den Informationsgehalt einer Nachricht

Definition Entropie:

pi = normalisierte Häufigkeit des Grauwertes i

Merkmale :

• minimal bei homogenen Bildern

• maximal bei gleich verteilten Grauwert Häufigkeiten

Entropie

23 57 8912 50 2455 20 11

0 1 10 01 0 0

1 2 48 1632 64 128

LBP=2+4+32=38

Table 1: Local Binary Pattern (LBP) feature

LBP (x, y) =7�

Se(in − ic) ∗ 2n (1)

Se(x) =

�1, x >= 00, x < 0

•Texture Filter invariant zu monotonen Grau-Level-Änderungen

•Parameter unabhängig

Bildquelle Vergleichsoperation (2) Nominierung 2^n Ergebnis LBP Operator (1)

Punktoperation mit 3x3 Nachbarschaft:

Vergleichsoperation des aktuellen Punktes:

Local Binary Pattern (LBP)

Histogramm-Differenz:

Pixel-Differenz (Norm):

Earth-Movers-Distance (EMD):

Distanzmaße• werden zum Beispiel für Ähnlichkeitsbetrachtungen benötigt

4. Visuelle Analyse

5. SEMEX Demo

•Anwendung zum Beispiel bei der Binarisierung von Bildern

•Globale Schwellwertverfahren

• Das gesamte Signal (z.B. Bild) wird berücksichtigt.

• Genau ein Schwellwert wird (manuell) festgelegt.

•Lokale Schwellwertverfahren

• Das Signal wird in Regionen unterteilt.

• Für jede Region wird ein Schwellwert festgelegt.

•Dynamische Schwellwertverfahren

• Weiterentwicklung des lokalen Verfahrens.

• Die Nachbarschaft der Region wird berücksichtigt.

• Der Schwellwert wird aufgrund der Nachbarschaft automatisch festgelegt.

Multimedia Analyse-Technologien4. Visuelle Analyse: Analysemethoden

Schwellwertverfahren

•Ziel: optimale Parameter für ein komplexes System finden

•optimal heisst: eine bestimmte Zielfunktion wird maximiert oder minimiert

• lokale Optimierung: finde nächstgelegene Maximum/Minimum

•globale Optimierung: finde das absolute Maximum/Minimum

•im Allgemeinen werden komplexe mathematische Verfahren gewählt, die die Topologie der Zielfunktion berücksichtigen

•die einfachste Methode sich der optimalen Lösung zu nähern, ist das “Abrastern”

•also das systematische Ausprobieren aller möglichen Parameterkombinationen

Parameter-Optimierung

•Lernen: induktives Schließen durch Beobachten von Beispielen, die eine unvollständige Information repräsentieren

•Unüberwacht (unsupervised): Suche nach Regularitäten/Mustern in beobachteten Beispielen, Bsp.: Suche nach Ausreißern (mit Hilfe von Clustering)

•Überwacht (supervised): Jedes beobachtete Beispiel trägt ein Label, Ziel des Lernens ist es, dieses Label auf unbeobachtete Fälle zu übertragen (Generalisieren statt Erinnern), Bsp: Klassifikation

Maschinelle Lernverfahren

• K-Nearest-Neighbor

• Stimmenmehrheit der k ähnlichsten Beispiele

• Linear Discriminant Analysis (LDA)

• Minimiert Intra-Klassen Varianz und maximiert Distanz (”Unähnlichkeit”) zwischen zwei Klassen

•Neuronale Netze

• Können jede beliebige Zielfunktion approximieren

• Neuron: gewichtete Summe aus Eingaben, nicht-lineare Funktion der Summe als Ausgabe

• Decision Trees

•Support Vector Machines (SVM)

• Large Margin Optimizer: Generalisierbarkeit

• Nicht-lineare Probleme können gelöst werden

4. Visuelle Analyse

5. SEMEX Demo

Structural Video Analysis

• Decomposition of time-based media into meaningful media fragments of coherent content that can be used as basic element for indexing and classification

scenes

subshots

frameskey frames

•Shot Boundary Detection

• Automated Identification of• Hard Cuts• Defects, as e.g.,

• Drop Outs, White Outs, etc.• Soft Cuts, as e.g.,

• Fade-In/Out, • Dissolve, Wipe, Cross-Fade, etc.

• Automated Structural Analysis based on• Analytical Shot Boundary Detection• Machine Learning Based Shot Detection

• Shot Boundary Detection• Automated Identification of

Hard Cuts based on

• Luminance/ChrominanceHistogram Differences & Derivatives

• Edge Distribution/Density

576 577 578575574573

Hardcut: if and is true for all Subregions a

i i+1 i+2i-1i-2i-3

tha(i) = α ·

i+W−1�

k=i−W

Da(k, k − 1)

−Da(i, i− 1)

Da(i, i− 1) > thα(i)

Da(i+ 1, i) < thα(i)

Window Size=4 (W=2)

Decompose Frame into a=4 Subregions

Da(i,i-1) ... Histogram Difference (L2-norm) between Frames i and i-1 of Subregion a

tha(i) ... adaptive Threshold for Frame i of Subregion a

Adaptive Threshold

tha(i) = α ·

i+W−1�

k=i−W

Da(k, k − 1)

−Da(i, i− 1)

tha(i) = α ·

i+W−1�

k=i−W

Da(k, k − 1)

−Da(i, i− 1)

• Shot Boundary Detection / Defect Analysis• Automated Identification of Defects

Drop Out

Histogram/Chrominance Difference Analysis

Flashlight / White Out

Histogram/Chrominance Difference Analysis

i i+10i+9i+8 i+11 i+12 i+13i+1

• Shot Boundary Detection

• Automated Identification of Soft Cuts, , as e.g. Fade Out / Fade In

• Features applied for machine learning:

• luminance histogram (Fade In / Fade Out)• luminance average Yµ

and luminance variance Yσ2 follow distinct patterns

• image decomposition

• component-based analysis to distinguish regional and global changes in image content

• entropy

• motion vectors

• Shot Boundary Detection

• Automated Identification of Soft Cuts, , as e.g. Fade Out / Fade In

• Features deployed for machine learning:

• luminance/chrominance histogram

• entropy

• motion vectors• image decomposition

• compute average motion vectors for all areas

• identify camera movements(zoom, pan, etc.) andmoving objects

Intelligent Character Recognition

• Preprocessing

• Character Identification

• Text Preprocessing

• Text Filtering

• Adaption of script geometry (Deskew)

• Image Quality Enhancement

• Optical Character Recognition (OCR)

• Standard OCR software (OCRopus)

• Postprocessing

• Lexical analysis

• Statistical / context based filtering

Rostock

Text Filtering

Image QualityEnhancement

• Character Identification• Robust filter to extract text candidate frames

• 25 fps results in 90.000 frames per 60 min

• too expensive for single frame preprocessing & OCR

• fast and robust text identification for preprocessing

TTTTT T TT T T

Frame Frame with CandidateTextboxes

Features used for Character Identification:• Edge Based Detection

• DCT

• Fourier Transformation

• Sobel-/Canny Edge Filter

• Histogram of Oriented Gradients (HOG)

• Constant Gradient Variance (CGV)

• Texture Based Detection

• Local Binary Patterns (eLBP)

• Spatial Variance

• Region Based Detection

• Connected Component Analysis (cvBlobs)

• Stroke Width Analysis (SWA)

• Analytical Textbox Filtering• Horizontal & Vertical Projection Profile

• Stroke Width Analysis Based Verification

Frame with Verified

Textboxes

Frame with CandidateTextboxes

Analytical Edge Based Character Identification

Character Binarization

Original Video

Frames

TextboxQuality

Enhancement

TextboxNormalization

andBinarization

Character Binarization• Skeleton Mapping

Standard Optical Character Recognition• OCRopus 0.4.4 (Open Source, Apache License v2.0)

• Tesseract 3.01 (Open Source, Apache License v2.0)

Quality EnhancedNormalized Textboxes

Ueutsche Bank

Weubrandenburg

Raw OCR Results

OCR Post Processing• OCR-adapted Spell Correction (hunspell 1.3.2, OPen Source GNU lGPL)

• Kontextbasierte Spell Correction (siehe kontextbasierte Named Entity Recognition, AP 4.1.5)

Deutsche Bank

Neubrandenburg

OCR Results after Spell Correction

Ueutsche Bank

Weubrandenburg

Raw OCR ResultsOCR-adapted

hunspell

Face DetectionFace TrackingFace Clustering

• Face DetectionDetektion von Gesichtern in Einzelbildern

• Kaskade unterschiedlicher Filter

lbpcscade

haarcscade

libface

Face Detection Tasks

• Face TrackingVerfolgung eines detektierten Gesichts in einer Szene innerhalb eines Videos

• probabilistische Mappingkriterien:

• Zentrumsdistanz der aufeinanderfolgenden Bounding Boxes

• Überlappungsfläche der aufeinanderfolgenden Bounding Boxes

• Größenänderung aufeinanderfolgender Bounding Boxes

• Face ClusteringGruppierung der entdeckten Gesichter in einem Video nach Ähnlichkeitskriterien

• Face ClusteringGruppierung der entdeckten Gesichter in einem Video nach verschiedenen Ähnlichkeitskriterien

• Bounding Box Extension:

• Einbeziehung von Bereichen oberhalb (Haare) und unterhalb (Kleidung) der Bounding Box in die Feature Extraktion

• Feature Extraction:

• Texturbasierte Features (eLBP, GVC)

• Farbbezogene Features (Chrominanz Histogramme)

• Clustering:

• Bestimmung der Clusteranzahl k (via Silhuettenkoeffizient-Optimierung)

• k-means Clustering / Mean Shift Clustering / Hierarchical Clustering

Visual Concept Detection

• Adaption des ,Bag of Words‘ Ansatzes aus dem Textretrieval

• Dictionary/Codeword Vocabulary

• Sätze werden als Vektoren über Dictionary dargestellt

• Diskretisierung eines Einzelbildes mit Hilfe der Codewörter

• Diskretisierung eines Einzelbildes mithilfe der Codewörter

• Repräsentiere Einzelbild als Histogramm der 4000 Codewortfrequenzen

• Konzeptzuordnung durch maschinelles Lernverfahren (hier Support Vector Machines)

Mediaglobe Related Concepts• Konzepte, die in Mediaglobe erkannt werden sollen:

• Personen

• Porträt / Kleingruppe / Menschenmassen

• Day / Night

• Indoor / Outdoor

• Architektur:

• Brücken

• Baudenkmäler, wie z.B. Kirchen, Schlösser, Burgen

• repräsentative Einzeldenkmale (experimentell)

• Stadt / Natur

• Park / Felder / Grünflächen

• Wald / Gewässer / Gebirge

• Objekte

• Fahrzeuge (Auto / Bahn / Schiff / Flugzeug)

4. Visuelle Analyse

5. SEMEX Demo

4. Visuelle Analyse

5. SEMEX Demo

Idee: ■ Finde das Frame in einem Video-Segment, dass den geringsten

Abstand zu allen anderen Frames des Segments hat.

■ (1) das Durchschnittsframe D eines Segmentes berechnen

■ (2) alle Frames Fi mit D vergleichen (z.B. via L2-Norm)

■ (3) das Frame mit geringsten Abstand gewinnt

Multimedia Analyse-TechnologienNaive-Keyframe-Extraction

Literatur

• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008

• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008

• Blog zur Webseite:http://mumat2012.blogspot.com/

03 Multimedia Analyse Technologien - Theoretische Einführung SS 2012

Technology

Transcript of 03 Multimedia Analyse Technologien - Theoretische Einführung SS 2012

Multimedia in Java

Lernen mit Multimedia - Uni Kiel · –Cognitive Theory of Multimedia Learning –Cognitive Load Theory –Ist Cognitive Load messbar? –Design-Prinzipien zum Lernen mit Multimedia

Evaluation - Seminar 'Multimedia Analyse Technologien'

Theoretische Grundlagen der Informatik 07.11.2011 Dorothea Wagner - Theoretische Grundlagen der Informatik INSTITUT FÜR THEORETISCHE INFORMATIK KIT INSTITUT FÜR THEORETISCHE INFORMATIK

Schreiben Und Multimedia

Multimedia- Programmierung - LMU MedieninformatikLMU München, Sommer 2016 Prof. Hußmann: Multimedia-Programmierung Kapitel 1, Folie Outline 1. Development Platforms for Multimedia

Multimedia-Programmierung · Ludwig-Maximilians-Universität München Prof. Hußmann Multimedia-Programmierung – 1 - 6 Multimedia Programming •Multimedia Programming: –Creating

Flugblatt Multimedia 2016

Multimedia adaptor

Modul Multimedia I

02 Multimedia Analyse Technologien - Technologie-Einführung SS 2012

Techniken: iPhone Multimedia

> CONTENTUS – NEXT GENERATION MULTIMEDIA … · bei sollen, durch semantische Technologien gestützt, Endnutzer Zugang zu den Inhalten aus dem Wissensnetz (Abbildung 1) erhalten.

Hyrican® Multimedia PC · Hyrican® Multimedia PC Multitalent & Energiesparwunder Die Hyrican®-Multimedia-PCs mit vorinstalliertem Microsoft-Betriebssystem sind der ideale Einstieg

Multimedia und Gedächtnis - Kognitionspsychologische Sicht auf das Lernen mit Technologien

MP3, TV & MULTIMEDIA

Theoretische Mechanik

Multimedia leicht gemacht

Multimedia Storytelling

PowerPoint 프레젠테이션 · Module . MULTIMEDIA COMPANY INTRODUCTION A Global Leader of Multimedia SOC TAM UL MUL MULTIMEDIA 000 0000 Q MULTIMEDIA . COMPANY INTRODUCTION TAMUL