Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich...

51
Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die Katz? Luc Van Gool Prof. ETH, Computer Vision Lab

Transcript of Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich...

Page 1: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Video-Security – News, Trends und Einsatz im AlltagSES-Fachtagung vom 04. November 2014, Zürich

Sicherheitstechnologie: fuer den Kunden oder fuer die Katz?Luc Van GoolProf. ETH, Computer Vision Lab

Page 2: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Wenn die Polizei die Uni anruft: ein Fall fuer Zwei(fel)

Page 3: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

IP Video surveillance systems

Video management software

Video analytics software

Page 4: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

IP Video surveillance systems

Video management software

Video analytics software

Page 5: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Surveillance videos often have quality issues

Page 6: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Video besteht aus einer Reihe von frames PAL laeuft ab an 25 fps ( frames pro Sekunde )

In einem traditionellen Video, wie zB PAL, enthaelt jedes frame 2 Felder, interlaced

INTERLACING

ungerades Feld

gerades Feld

Ein Frame

Page 7: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

INTERLACING

Ein frameZwei Felder

Page 8: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Jedes Video-Frame koenntealso aus einem geraden undeinem ungeraden Feld bestehen

Frame

Gerades Feld

Ungerades Feld

Page 9: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Kamera 1

Kamera 2

Ein frame kann so Informationenvon 2 Kameras enthalten

INTERLACING

Page 10: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

1 0 2 0 3 0 2 0 2 3 1 ...1 0

KAMERA 0 KAMERA 1 KAMERA 2 KAMERA 3

Tape (VHS)frame 0 frame 2

field 0 field 1 field 4 field 5

Auf einander folgende Bilder vielleicht von anderen Kameras

TIME LAPSED

Page 11: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

multiplexed input video

Page 12: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Basierend auf Kamera Kode

identification tagsder Kameras fuer spaetereAuswahl

Bilder der Kameraswerden automatischaussortiert

Page 13: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Jetzige Inhalte dieser Region werden als normal betrachtet

abnormaleSzenenwerden automatischdetektiert

Waehle eine Bildregion aus

Page 14: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Hintergrund Vorfall

Beispiel der Hintergrund substrahierungBeispiel der Hintergrund substrahierung

Vordergrund

Page 15: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Vorfaelle im UeberblickVorfaelle im Ueberblick

Benuetzerkoennen Kommentarehinzufuegen

Page 16: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Bilder mal schnell aufbessern:der alte... Traum

Page 17: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

IP-video surveillance systemsIP Video surveillance systems

Video management software

Video analytics software

Page 18: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Video Aufbesserung luminance gamma correction greyscale conversion threshold frame 2 field conversion similar / deviant frames median filter . . .

Eine Filtersequenz kann schematischAufgebaut werden

Page 19: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 20: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 21: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Mittelwerte ueber die Zeit hinwegMittelwerte ueber die Zeit hinweg

Page 22: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

eine Anzahl Bilder mit niedriger Aufloesung werden kombiniert zu einem Bild mit hoehere Aufloesung

SuperSuper -- AufloesungAufloesung

Page 23: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.
Page 24: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Originales Detail super – aufgeloestes Detail

40 Bilder wurden kombiniert die Aufloesung wurde ueber einem Faktor 4 verbessert

Page 25: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

super – aufgeloestes DetailOriginales Detail30 Bilder wurden kombiniert

die Aufloesung wurde ueber einem Faktor 4 verbessert

Page 26: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.
Page 27: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Bild mit geringem Kontrast

histogram equalisation

Erhoehung der Kontrastewobei man die Verteilungmoeglichst flach macht

unsharp masking

Zusaetliche Erhoehung der Kontraste,in der Naehe von Kanten

Page 28: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Tatort Vermessung

Page 29: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

IP-video surveillance systemsIP Video surveillance systems

Video management software

Video analytics software

Page 30: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Schaetzung der Laenge

Aus einem Bild

Page 31: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

? 148.0 cm87.3 cm

Schaetzung der Laenge

Page 32: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Schaetzung der Laenge

Page 33: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Messungwird von einigenFaktorenbeeinflusst

Schuhe Kopfhaltung

Einfluss der Szene : Genauigkeit der Referenz Laengen Objektpositions gegenueber Kam. Kamera hat sich nicht bewegt ??!! Geraden f. Horizontbestimmung Fuesse sichtbar oder nicht . . .

Bildqualitaet

Standpunkt des Kameras Koerperhaltung

Page 34: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Messungwird von einigenFaktorenbeeinflusst

Page 35: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

3D Rekonstruktion aus mehreren Bildern (zB mit Handkamera aufgezeichnet)

Page 36: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

usw usw

SICHERHEITSKAM

HANDKAM

Page 37: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.
Page 38: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Objekterkennung: mission impossible?Die Katze im Garten in der Nacht sollte kein Alarm ausloesen

Page 39: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

IP Video surveillance systems

Video management software

Video analytics software

Page 40: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Verbessert sich ueber die Zeit Unabhaengig vom Inhalt Effizientes processing

Patent application filed

Zusammen-fassungVorfaelle

Page 41: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Konzept der Aktivitaetsmodellierung

Mod

el

Activ

ity

specific

broad general

precise

Aktivitaetenunterscheide

n

neue Daten

interpretieren

Page 42: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

➔ Finde die abnormale Vorfaelle, inkl. die Moeglichkeit fuer

den Gebraucher um die Regel zu bestimmen, wie Vorfaelle

die dauerhaft zum Alarm fuehren sollten / timestamps / uzw

Zeit

Abnormalitaet

Page 43: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Beispiel 1: abnormales in time-lapsed Video von Times Square

Page 44: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Beispiel 2: nur relevante Vorfaelle innerhalb Region vom Interesse

Page 45: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.
Page 46: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

1. Motion detection

Page 47: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

relevant

irrelevant

relevant

relevantirrelevant

1. Motion detection2. Motion learning

Page 48: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

relevant

relevant

relevant

abnormal

normal

normal

irrelevant

irrelevant1. Motion detection2. Motion learning3. Event detection

Page 49: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

relevant

relevant

relevant

abnormal

normal

normal

truck

2 persons

car stopping

irrelevant

irrelevant1. Motion detection2. Motion learning3. Event detection4. Event labelling

Page 50: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

Unsere Soft wird schon von ETH spin-off upicto angewand(zB fuer die Kantonalpolizei Zuerich)

Dr. Fabian Nater upicto GmbH [email protected] Technoparkstrasse 1 +41 78 843 7311CH-8005 Zürich www.upicto.com

Page 51: Video-Security – News, Trends und Einsatz im Alltag SES-Fachtagung vom 04. November 2014, Zürich Sicherheitstechnologie: fuer den Kunden oder fuer die.

QUESTIONS ?