(6) Augmented Reality - Uni Koblenz-Landau cg/ss12/arvr/06_ar.pdf · PDF file...

Click here to load reader

  • date post

    18-Oct-2020
  • Category

    Documents

  • view

    1
  • download

    0

Embed Size (px)

Transcript of (6) Augmented Reality - Uni Koblenz-Landau cg/ss12/arvr/06_ar.pdf · PDF file...

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU

    (6) Augmented Reality

    Vorlesung

    „Virtuelle Realität und

    Augmented Reality“

    S. Müller

    Dank an Didier Stricker, Elke Hergenröther

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 2 -

    Rekonstruktion der Kameraparameter (intern, extern) aus Bildern und perspektivisch

    korrekte Einblendung von virtuellen Objekten

    Augmented Image

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 3 -

    Augmented Video

    Rekonstruktion der Kameraparameter (intern, extern) für jedes Bild einer Bildsequenz

    und perspektivisch korrekte Einblendung von virtuellen Objekten

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 4 -

    Augmented Reality

     Das ganze in Echtzeit

     „Augmented Reality (AR) steht für „erweiterte Realität“

    und bezeichnet bereits eine Weiterentwicklung der

    Technologien der Visualisierung und VR. Im Kern geht

    es dabei darum, Informationen in das reale Sichtfeld

    eines Betrachters (oder einer Kamera) einzublenden

    und mit den realen Bildern in Deckung zu bringen und

    zu überlagern. Der Benutzer agiert in einer realen

    Umgebung oder mit realen Objekten, wobei er von

    dem Computer durch die visuelle Überlagerung von

    Informationen unterstützt wird.“

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 5 -

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 6 -

    Beispiel: Maschinenwartung

    - Reparatur eines Fotokopierers -

    Feiner,

    Columbia U 1993

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 7 -

    Beispiel: Inneneinrichtung

    ECRC 1995

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 8 -

    Beispiel: Automobilindustrie

    - Montage und Wartung -

    ECRC 1995

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 9 -

    AR bei Boeing

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 10 -

    AR bei Boeing

    Chef: wir sind hier!

    Die „Hip-Hype-Hop(e)“-Kurve neuer Technologien

    t t

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 11 -

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 12 -

    AR erweitert Problemstellung von VR

    Virtuelle Realität Augmented Realtiy

    Systemplattform Stationäre Systeme mit entsprechender 3D-Graphikleistung und Performance (high-end)

    + mobile Endgeräte (low-end)

    Visualisierung Komplexe 3D-Datensätze in Echtzeit

    + multimediale Daten (Dokumente, Zeichnungen, Diagnosedaten, Prozeßinformationen, etc.)

    + Videoströme

    Datenanbindung Aufbereitung von 3D-CAD Daten und Zugriff auf PDM

    + Anbindung an allgemeine „legacy Systeme“ und Informationssysteme

    Tracking Eingeschränkter Aktionsradius mit Genauigkeit in „Millimetern“

    + Große Aktionsbereiche und Genauigkeiten in „Pixelgrößen“

    Interaktion ... in 3D und möglichst intuitiv + ... mit realen Objekten

    Qualifikation der Benutzer

    Relativ hoch durch vergleichsweise wenig Systeminstallationen

    + nur „Benutzerqualifikation“ durch Massenmarkt

    Preis/System 25.000 € – 1 Mio € + 1.000 € – 10.000 €

    „AR ist Informatik-vollständig“

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 13 -

    AR ist „Informatik“-vollständig

     Mobile Systeme

     Aufwendige

    Systemarchitekturen

     Gerätetechnologie

     Neue Interaktion, Mensch-

    Maschine-Kommunikation

     Neues Medium

     Aufwendige Algorithmen

    (Bilderkennung, Gesten,

    Sprache)

     Visualisierung

     … und alles in Echtzeit

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 14 -

    Systemarchitektur: mobiles AR

    Ethernet

    Server

    Video-

    kamera

    Wireless LAN Sprach-

    interaktion

    Tracking

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU

    Darstellung

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 16 -

    Unterschiede der Darstellung

    Video-See-Through

     Die Realität wird durch ein

    Kamerabild repräsentiert und

    dieses überlagert.

    (Optisches) See-Through

     Durchsichtiges Display, der

    Betrachter nimmt die Realität

    direkt wahr und die virtuellen

    Informationen werden

    zusätzlich eingeblendet

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 17 -

    (Optisches) See-Through

     Pros

     Maximale Realität

     Natürliches Stereo

     Geringe/Keine

    Videobandbreite

     Simultanität

     Cons

     Dynamische

    Registrierungsfehler

    (Latenz bei Bewegung)

     Statische

    Registrierungsfehler

    (Aufwendige Kalibrierung,

    Verrutschen der Brille)

     Reduzierter Kontrast

    (“Sonnenbrille”)

     Virtuelle Objekte

    verdecken nicht den

    Hintergrund

    (“Geisterbilder”)

     Nur mit Datenbrille

    MicroOptical

    MicroVision

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 18 -

    See-Trough: Kiyokawa (CRL, Japan)

    Optisches See-Through

     Interessanter Ansatz:

    2-stufiges Display (CRL,

    Japan)

    1) normales „Geisterbild“

    2) mit Verdeckungsrechnung

    3) Erstes Display stellt Maske

    schwarz dar

    4) Zweites (überlagertes)

    Display stellt virtuelle

    Information dar

    1 2

    3 4

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 19 -

    Video-See-Through

     Kopfverbunden  Handverbunden

    Tivisio

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 20 -

    Video See-Through

     Pros

     Dynamische

    Registrierungsprobleme

    lösbar (Computer trackt

    das Bild, das auch

    dargestellt wird)

     Keine statischen

    Registrierungsprobleme

    (kein Offset zwischen Bild

    und Trackerposition)

     Kontrast der Bilder und

    Informationsdarstellung

    kontrollierbar

     Cons

     Video Bandbreite

     Auflösung

     Reduzierte Simultanität

     “Blackout” bei System

    Fehler

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 21 -

    Video See-Trough: Takagi (MRL, Japan)

    Video See-Through

     Beispiel einer Datenbrille

    (MRL, Japan)

     zwei integrierte

    Kameras

     Spezielle Optik, so

    daß Kamerabilder

    dem realen Sichtfeld

    entsprechen

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 22 -

    Trends

     HMPDs: head mounted projection display

     Der Benutzer trägt einen Projektor und die Information wird in

    die Realität projiziert.

     Projektions-basierte AR (mit semi-transparente Spiegel)

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU

    Anwendungsbeispiele

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 24 -

    Medizin

    MIT AI-Lab

    + Brigham

    Women‘s

    Hospital

    CMU +

    Shadyside

    Hospital

    UNC

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 25 -

    Tourismus

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 26 -

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 27 -

    AR-Spiele

    Aqua Gauntlet (MRL Japan) AR2 Hockey (MRL Japan)

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 28 -

    Shared Augmented Reality

    Spiele

    Design-Evaluierung

    wissenschaftliche Vis.

    Video-Konferenz

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 29 -

    Mensch-Technik Interaktion in

    der Wissensgesellschaft

    Augmented Reality für Entwicklung, Produktion und

    Service

    Mensch-Technik Interaktion in der Wissensgesellschaft

    AACHEN

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 30 -

    AR-Anwendungsszenarien

    Entwicklung Produktion Service

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 31 -

    Pedalbox

    Montagesimulation

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 32 -

    Sicherung 25A

    AR-Montageunterstützung

  • U N I V E R S I T Ä T

    KOBLENZ · LANDAU S. Müller - 33 -

    Augmentierte Do