Multimedia und Virtual Multimedia und Virtual RealityReality

Vorlesung am 12.05.1999Vorlesung am 12.05.1999

Martin Kurze Martin Kurze (kurze@acm.org)(kurze@acm.org)

Video (lat.: ich sehe)Video (lat.: ich sehe)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 2

12.05.99

(Visuelle) Wahrnehmung(Visuelle) Wahrnehmung

Bestimmende Faktoren:Bestimmende Faktoren:– Umgebung (gibt es diese?)Umgebung (gibt es diese?)– Stimuli (Reize), woher? wohin?Stimuli (Reize), woher? wohin?– Sensoren, Nerven, usw.Sensoren, Nerven, usw.– Das Gehirn (der Forschung eher Das Gehirn (der Forschung eher

unzugänglich)unzugänglich) Aber: beliebtes Betätigungsgebiet der PsychologieAber: beliebtes Betätigungsgebiet der Psychologie

– Das effektorische SystemDas effektorische System– Die Handlung als Ergebnis der Die Handlung als Ergebnis der

WahrnehmungWahrnehmung

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 3

12.05.99

Optische TäuschungenOptische Täuschungen

Subjektive KonturenSubjektive Konturen

Müller-Lyer-IllusionMüller-Lyer-Illusion

Spirale des ArchimedesSpirale des Archimedes

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 4

12.05.99

Spirale des ArchimedesSpirale des Archimedes

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 5

12.05.99

Licht als „Medium“Licht als „Medium“ ziemlich schnell ziemlich schnell

– ((299792,458 km/s im Vakuum) Dualismus von Welle und Dualismus von Welle und

KorpuskelKorpuskel– Wellennatur bewirkt LichtbeugungWellennatur bewirkt Lichtbeugung– Teilchennatur als Modell beim „Ray Teilchennatur als Modell beim „Ray

tracing“tracing“

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 6

12.05.99

Spektrum elektromagnetischer Spektrum elektromagnetischer WellenWellen

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 7

12.05.99

Das sichtbare LichtDas sichtbare Licht

– Das menschliche Auge ist besonders Das menschliche Auge ist besonders empfindlich für grünempfindlich für grün

– Umsetzung unssichtbaren Lichts in Umsetzung unssichtbaren Lichts in sichtbaren Bereich => „Falschfarben-Bild“sichtbaren Bereich => „Falschfarben-Bild“

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 8

12.05.99

Wir sehen kaum Licht (???)Wir sehen kaum Licht (???)

Reflexionen von Licht an KörpernReflexionen von Licht an Körpern– nur ein Teil des Spektrums wird nur ein Teil des Spektrums wird

reflektiertreflektiert Das hat Folgen für das RenderingDas hat Folgen für das Rendering ... und für die Bildschirmarbeit!!... und für die Bildschirmarbeit!! wird auch im Glasfaserkabel wird auch im Glasfaserkabel

genutzt.genutzt.

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 9

12.05.99

LichtbrechungLichtbrechung

keine optische Täuschung!keine optische Täuschung! wird von Prismen genutztwird von Prismen genutzt

... und von Linsen (!!)... und von Linsen (!!)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 10

12.05.99

Seh-SinnSeh-Sinn

Licht Licht (emittiertes und (emittiertes und reflektiertes) reflektiertes) fällt durch die fällt durch die Linse auf die Linse auf die Netzhaut.Netzhaut.

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 11

12.05.99

Seh-Sinn (2)Seh-Sinn (2)

Die Netzhaut hat Die Netzhaut hat lichtempfindliche lichtempfindliche ZapfenZapfen und und StäbchenStäbchen

120 Mio Stäbchen für 120 Mio Stäbchen für HelligkeitHelligkeit

5 Mio Zapfen für Farben 5 Mio Zapfen für Farben (3 verschiedene Sorten für 3 (3 verschiedene Sorten für 3 Frequenzbereiche)Frequenzbereiche)

„„scharfes Sehen“ nur am scharfes Sehen“ nur am „gelben Fleck“„gelben Fleck“

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 12

12.05.99

etwas Psychologie des etwas Psychologie des SehensSehens

Warme Farben (z.B. Warme Farben (z.B. rotrot oder oder gelbgelb) ) wirken nahewirken nahe

kalte Farben (z.B. kalte Farben (z.B. grüngrün oder oder blaublau) ) wirken fernwirken fern

Pastelltöne wirken entspannt und Pastelltöne wirken entspannt und entspannendentspannend

gelb auf blau ist gut lesbar wirkt aber etwas aggressiv

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 13

12.05.99

RGB-Farbmodell als WürfelRGB-Farbmodell als Würfel

greengreen

GG

yellowyellow

blueblue

redredRR

BB

black

gray linegray line

magentamagenta

cyancyanwhitewhite

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 14

12.05.99

Bild und BedeutungBild und Bedeutung Zeichen (sign) Zeichen (sign) - Jedes physische Objekt, dem - Jedes physische Objekt, dem

eine Gesellschaft eine Bedeutung zugewiesen hateine Gesellschaft eine Bedeutung zugewiesen hat Semiotik Semiotik - Zeichenkunde- Zeichenkunde Anzeiger (Anzeiger (signifiersignifier) ) - physische Entität, die das - physische Entität, die das

Zeichen trägt/ausdrücktZeichen trägt/ausdrückt Bezeichnung (Bezeichnung (signifiedsignified) ) - Konzept oder Gefühl, - Konzept oder Gefühl,

das von dem Zeichen transportiert wirddas von dem Zeichen transportiert wird SignificationSignification - Verknüpfung zwischen Ausdruck - Verknüpfung zwischen Ausdruck

und Konzept (kulturell unterschiedlich!)und Konzept (kulturell unterschiedlich!)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 15

12.05.99

Alles eine Frage der Alles eine Frage der PerspektivePerspektive

Illusions-Illusions-PerspektivePerspektive

konzeptionellekonzeptionellePerspektivePerspektive

geometrischegeometrischePerspektivePerspektive

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 16

12.05.99

Video-Technik ...Video-Technik ...

FilmFilm VideoVideo AnimationAnimation DaumenkinoDaumenkino

Multimedia und Virtual Multimedia und Virtual RealityReality

Vorlesung am 12.05.1999Vorlesung am 12.05.1999

Martin Kurze (kurze@acm.org)Martin Kurze (kurze@acm.org)Audio (lat.: ich höre)Audio (lat.: ich höre)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 18

12.05.99

SchallwellenSchallwellen

Frequenz Frequenz – Anzahl der Schwingungen pro Sekunde Anzahl der Schwingungen pro Sekunde – bestimmt Tonhöhebestimmt Tonhöhe

AmplitudeAmplitude– Intensität/Lautstärke eines gehörten Intensität/Lautstärke eines gehörten

GeräuschsGeräuschs HarmonieHarmonie

– Schallwellen haben Frequenzen, die sich in Schallwellen haben Frequenzen, die sich in bestimmten Verhältnissen unterscheidenbestimmten Verhältnissen unterscheiden

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 19

12.05.99

Harmonische SchwingungHarmonische Schwingung

RuheRuhe

KompressionKompression

„„Unterdruck“Unterdruck“

Wellen-Wellen-bewegungbewegung

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 20

12.05.99

Harmonien von Harmonien von (Schall-)Wellen(Schall-)Wellen

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 21

12.05.99

SchallwellenSchallwellen

Materie-WellenMaterie-Wellen

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 22

12.05.99

Fourier-Spektral-AnalyseFourier-Spektral-Analyse

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 23

12.05.99

Schall-AusbreitungSchall-Ausbreitung

Reflexion Reflexion - Schall wird von Oberflächen in - Schall wird von Oberflächen in verschiedene Richtungen zurückgeworfenverschiedene Richtungen zurückgeworfen

direkter Sound direkter Sound - Schall wird ohne - Schall wird ohne Reflexion gehörtReflexion gehört

„„early sound“ early sound“ - Schall wird nach einer - Schall wird nach einer Reflexion gehörtReflexion gehört

Echo - Echo - Schall wird nach vielen Reflexionen Schall wird nach vielen Reflexionen gehörtgehört

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 24

12.05.99

Schall-Ausbreitung (2)Schall-Ausbreitung (2)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 25

12.05.99

BeugungBeugung

Schall dringt durch Spalten, z.B. Schall dringt durch Spalten, z.B. von offenen Türenvon offenen Türen

Beugung ist frequenzabhängigBeugung ist frequenzabhängig

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 26

12.05.99

Doppler-EffektDoppler-Effekt

Sich nähernde Geräuschquellen Sich nähernde Geräuschquellen klingen höherklingen höher

Sich entfernende klingen tieferSich entfernende klingen tiefer Ursache: Ursache: relativerelative

Wellenlängen/Frequenz-Wellenlängen/Frequenz-VerschiebungenVerschiebungen

wahrnehmbar ab ca. 30 km/hwahrnehmbar ab ca. 30 km/h

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 27

12.05.99

Hören und ZuhörenHören und Zuhören(hearing and listening)(hearing and listening)

Hören Hören - unbewußtes physisches - unbewußtes physisches Empfangen von SchallEmpfangen von Schall

Zuhören Zuhören - Schallwahrnehmung mit - Schallwahrnehmung mit genauer Unterscheidung und genauer Unterscheidung und Zuordnung. Man untersucht den Schall, Zuordnung. Man untersucht den Schall, seine eigene Erfahrung und Reaktion seine eigene Erfahrung und Reaktion darauf einschließlich der emotionalen.darauf einschließlich der emotionalen.

„„Cocktail-Party-Effekt“Cocktail-Party-Effekt“

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 28

12.05.99

Eingeschränkte Eingeschränkte WahrnehmungWahrnehmung

Man hört Frequenzen von ca. 20 Man hört Frequenzen von ca. 20 bis 20.000 Hzbis 20.000 Hz

Frequenzen über 16 kHz werden Frequenzen über 16 kHz werden als Pfeifen wahrgenommenals Pfeifen wahrgenommen

Frequenzumfang des Gehörs Frequenzumfang des Gehörs schrumpft im Alterschrumpft im Alter

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 29

12.05.99

Dimensionen des HörensDimensionen des Hörens

Hörebenen Hörebenen - physisch, abstrakt- physisch, abstrakt Bedeutung Bedeutung - wird aus dem Verhältnis der - wird aus dem Verhältnis der

verschiedenen Ebenen abgeleitetverschiedenen Ebenen abgeleitet Lokalisierung - Lokalisierung - Fähigkeit den Ort einer Fähigkeit den Ort einer

Schallquelle festzustellen (Richtung und Schallquelle festzustellen (Richtung und Entfernung)Entfernung)

Identifikation Identifikation - Fähigkeit Stimmen, - Fähigkeit Stimmen, Instrumente und andere Schallquellen zu Instrumente und andere Schallquellen zu erkennenerkennen

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 30

12.05.99

Schall als DatenmaterialSchall als Datenmaterial

Digitales SamplingDigitales Sampling– Frequenz (z.B. 44,1 kHz bei CDs)Frequenz (z.B. 44,1 kHz bei CDs)

KomprimierungKomprimierung– z.B. MP3 für Musikz.B. MP3 für Musik– „„Codecs“ für Codecs“ für

verschiedene Quellen (Sprache, Musik)verschiedene Quellen (Sprache, Musik) verschiedene Bandbreitenverschiedene Bandbreiten

Symbolisch (MIDI, Sprachsynthese, ...)Symbolisch (MIDI, Sprachsynthese, ...)

Martin Kurze: Multimedia und VR Video (lat.: ich sehe) Folie 31

12.05.99

Übungsaufgaben zu Übungsaufgaben zu Audio/VideoAudio/Video

Suchen Sie im WWW nach Audio-DateienSuchen Sie im WWW nach Audio-Dateien– Finden Sie Audio-Dateien zu folgenden Themen:Finden Sie Audio-Dateien zu folgenden Themen:

HubschrauberHubschrauber Türklappen (Stall, Zimmer, Enterprise)Türklappen (Stall, Zimmer, Enterprise) Bar-Gespräche,...Bar-Gespräche,...

– Finden Sie eine MIDI-Datei, die sich als Loop im Finden Sie eine MIDI-Datei, die sich als Loop im Hintergrund für bestimmte Stimmungen/Szenen Hintergrund für bestimmte Stimmungen/Szenen eignet (Wald, Stadt, Disco, Uni, ...).eignet (Wald, Stadt, Disco, Uni, ...).

– Konvertieren Sie die Dateien ins wav- und MPEG-Konvertieren Sie die Dateien ins wav- und MPEG-Format.Format.