Entwurfsaspekte interaktiver 3D-Inhalte · • Konzept handelnder Einheiten ist interdisziplinär...
Transcript of Entwurfsaspekte interaktiver 3D-Inhalte · • Konzept handelnder Einheiten ist interdisziplinär...
1
© Christian Geiger, 2002
Entwurfsaspekte interaktiver 3D-Inhalte
aktuelle Entwicklungen (auch) für mobile Geräte,
Illustration und Unterhaltung
Christian Geiger 3D-Computergrafik & Animation
Hochschule Harz, [email protected]
© Christian Geiger, 2002
Zur Person…• Christian Geiger• Professor für Computergrafik an der Hochschule
Harz (FH) im Studiengang Medieninformatik• 1997-2001 Projektmanager Siemens C-LAB
Paderborn im Bereich Multimedia, 3D und AR– BMBF Projekt AR-PDA– EU-Projekt AMIRE (Authoring Mixed Reality)– Versch. Projekte zu 3D-GUI, Interaktiven Illustrationen,
Navigation in 3D• Interessensgebiete: Entwurf von 3D /AR
Anwendungen, Wissensbasierte Multimedia /Computergrafik, Spiele / Edutainment /Infotainment
2
© Christian Geiger, 2002
Über diesen Vortrag• Disclaimer: Nur ein Teil der vorgestellten Arbeiten entstand
an der HS Harz, vieles ist in Kooperation mit anderen Instituten entstanden, bzw wurde im Rahmen eines 4-tägigen Workshops präsentiert
• ACM SIGGRAPH and Eurographics Campfire
• Ralf Dörner, FHG AGC, Frankfurt • Christian Geiger, HS Harz• Paul Grimm, FHG AGC, Frankfurt • Michael Haller, FH Hagenberg (A)
• PreProceeding bei Shaker Press erschienen (C-LAB Series)
© Christian Geiger, 2002
Motivation• Interaktive 3D / VR / AR Inhalte werden von immer mehr Personen
verwendet und nachgefragt
• Es fehlt jedoch in vielen Bereichen an Inhalten, da die technologischen Experten selten anspruchsvolle Inhalte aus speziellen Domänen entwerfen (Programmierer als Designer?)
• Inhaltsexperten können andererseits selten mit neu entwickelten Technologien umgehen (Designer als Programmierer?)
• Bisherige F&E-Ergebnisse fokussieren zu einem erheblichen Anteil auf technische Lösungen (Algorithmen, Systeme / Protototypen)
• Authoring / Entwurfsaspekte werden zur Zeit kaum angemessen berücksichtigt
3
© Christian Geiger, 2002
Vorbild Spiele?• Spieleindustrie ist zur Zeit einer der Schrittmacher im
Bereich 3D (David Ebert)
• Entwickelt sich zum wichtigsten wirtschaftlichen Faktor für Hardware und Software im Bereich Computergrafik / Multimedia
• Schnelle Erstellung benutzbarer Inhalte ist zwingend, um sich am Markt zu behaupten
• Nach langer Ignorierung wird die Spielethematik auch wissenschaftlich betrachtet (Konferenzen, Vorlesungen, Studiengänge)
• Synergien zwischen Spieleindustrie und anderen Bereichen?
© Christian Geiger, 2002
Ansätze in den USA• 1997: Studie "Modeling and Simulation: Linking
Entertainment & Defense (M. Zyda, NavalPostgraduate School)
• Moves Institut bearbeitet diese Thematik mit verschiedenen Projekten:– 3D Visual Simulation– Networked Virtual Environments– Computer-Generated Autonomy– Human Performance Engineering– Technologies for Immersion– Defense and Entertainment Collaboration– Evolving Operational Modeling
• Interactive Computer Generated Stories• War Gaming• Scenario Based Training
4
© Christian Geiger, 2002
Ergebnisse• Story-Engine für Army Game
Projekt– 2D (The Sims) und 3D (Unreal)– Psychologische Profil
identifizieren– für Karriereplanung– Werbung– Interaktive Story mit
Filmgenerierung
M. Capps, P. McDowell & M. Zyda "A Future forEntertainment-Defense Collaboration," IEEE Computer Graphics & Applications, Jan/Febr 2001
© Christian Geiger, 2002
Und hier…?• 1999 IGD Initiative „Synergien Entertainment & Produktion“
– Serie von Workshops mit Fachleuten aus Produktion (Automobil), Entertainment, Hochschulen / Forschungseinrichtungen
– Resultat war Report des IGD Rostock: http://www.egd.igd.fhg.de/– Durch Kontakte dort entstand ua
• Campfire on Production Process on 3D Graphics• Proc. Of Web3D WS on „Structured Design of VE‘s and 3D
Components“, Shaker• GI2001 Workshop: Synergien von virtueller Realität und Computerspielen
• Dennoch kein Vergleich zu USA!• Wenigstens: Erste Ansätze im Hochschulbereich die
Spielethematik ernsthaft zu betrachten…
5
© Christian Geiger, 2002
Übersicht• Was sind wichtige Aspekte beim Authoring?
– Konzeptionelles Modell, Prozess, Werkzeuge, Anwendungen
• Ausgewählte Beispiele für diese Bereiche– Nicht repräsentativ!
• Mobile Endgeräte– Spezielle Anwendungen für mobile Geräte
• Anwendungen im Bereich Entertainment & Illustration
• Augmented Reality (AR) als „Weiterentwicklung“ / 3D++
© Christian Geiger, 2002
Augmented Reality• Verweis auf kommenden Vortrag über Mixed Reality• Kombination realer Aufnahmen mit computergenerierten Inhalten
Azuma’s Definition:
1. To combine real and virtual objects
2. Runs interactively and in real time
3. Registers (align) real and virtual objects with each other -> in 3D
6
© Christian Geiger, 2002
Aspekte des Authoring• Konzeptionelles Modell
– Basis für gemeinsame Vorstellung / Sichtweise• Entwurfsvorgehen
– Definierbare Folge von Handlungsanweisungen• Basistechnologie
– Unterstützende IT-Technologie für 3D/VR/AR – 3D-Middleware?
• Visuelle Werkzeuge und Schnittstellen– Einfach benutzbare Werkzeuge zur effizienten Gestaltung
• Sinnvoller Anwendungsbereich– Direkter Nutzen für hinreichend viele Applikationen
• Benutzergruppen– Endbenutzer, Inhaltsexperten, technische Experten
© Christian Geiger, 2002
1) Konzeptionelles Modell• „Wer nicht direkt in OpenGL/D3D denkt, verwendet
meist den Szenegraph“• Für Inhaltsexperten weniger geeignet, da selten
eine 1:1 Abbildung aus der Realität möglich ist• Andere Modelle aus dem Bereich Multimedia-
Softwareentwicklung:
7
© Christian Geiger, 2002
Vorteil Aktorenmetapher• Konzept handelnder Einheiten ist interdisziplinär
kommunizierbar, da bekannt aus Film/Theater
• Gute Abbildung auf 3D-Umgebung möglich mit entsprechender 3D-Bibliothek: Aktoren+Attributes, Actions, Stage, MakeUp/Shape, Camera
C. Geiger, V. Paelke, C. Reimann, W. Rosenbach. A Framework for the Structured Design of VR/AR Content. VRST2000
© Christian Geiger, 2002
2) Entwurfsvorgehen• Strukturierte Vorgehensweise bei der SW-technischen Entwicklung von
3D/VR/AR• Bisher existiert kein allgemeines, anerkanntes Vorgehen -> „Design and
Test“ aka „iteratives Prototyping“.• Wichtig erscheint ein benutzerzentrierter Ansatz, der rechtzeitig alle am
Ergebnis beteiligten Personen berücksichtigt• Da eine kontinuierliche Einbeziehung wünschenswert ist, sollten stets
überprüfbare Designrepräsentationen verfügbar sein
User Centred DesignEntwurf
Requirement EngineeringKontextanalysen
TestingEvaluation
Kontinuierlich testbare Designrepräsentation
8
© Christian Geiger, 2002
Entwicklung und Content-AuthoringProcess Planning
Context Spec.
Req. Spec.
Design
Evaluation
Application / Content Level
„scriptwriting“
Concept / Goal Level
Design
Evaluation Req. Analysis
1 : n
„film sequence storyboarding“
Actor LevelReq. Analysis
Design
Evaluation
n : m
„actor and prop preparation“
(based on ISO 13407)
V. Paelke: Design of interactive 3D Illustrations, Dissertation, 2002
© Christian Geiger, 2002
Anwendungsentwicklung und Content-Authoring
• Testbare Design Repräsentation:
(R)eale Aktoren
(V)irtuelle Aktors
(M)eta Aktoren
i4D Generic Actor (GA): (possible design representations)- < id > [Text] // unique id- < description > [Text] // textual description- < scribble > [2D-Image] // visual depiction- < design_sketch > [2D-Image] // visual depiction- < 3D_model> [3D-Model] // visual depiction- < anim_mov > [2D-Movie] // visual depiction- < anim_mod > [3D-Animated Model] // visual depiction- < REF_CASA_agent> [Reference] // links behaviour to 3D anim. model- < REF_i4D_actor> [Reference] // link to custom actor
C. Geiger, V. Paelke, C. Reimann, W. Rosenbach, J. Stoecklein.: Testable Design Representations for Mobile AugmentedReality Authoring, Int. Symposium on Mixed and Augmented Reality, Darmstadt, Germany, Sep 2002
9
© Christian Geiger, 2002
3) Basistechnolgie• Ruf nach VR-Middleware: Komponenten, Bausteine, Reuse – „so
einfach wie Lego !“• Unterschiedliche Sichtweisen: Highlevel Komponenten (z.B.
verschiedene I/O-Geräte) vs feingranulare SW-Objekte (z.B. Animationen)
• Es existieren in beiden Bereichen zahlreiche Ansätze, vgl z.B. Proc. Of Web3D WS on „Structured Design of VE‘s and 3D Components“, Shaker.
• Eine Applikation aus „Legokomponenten“ wird immer wie Lego aussehen
• Besser(?): universelle Elemente, die stets angepasst werden müssen und domänenspezifische Elemente, die einfach konfigurierbar sind
• „Gems + Components“ (EU Projekt AMIRE)
Visual tools
Windows Unix Direct3D
...OpenGL OpenSG ...
Platform abstraction layer
3D componentmanagement system
Extensions
Script interface C++ interface
Application
© Christian Geiger, 2002
Aktuelle Ansätze• Research: Visual Design Patterns, Ressourcen-
kalkulierenden AR-Komponenten [campfire]• Open Source: OpenSG (www.opensg.org) • Kommerziell: z.B. Komponentenorientierte Shark
3D-Engine, alchemy im Spielebereich
www.shark3d.de
10
© Christian Geiger, 2002
Nicht Photorealistisches Rendering & Anwendungen im Spielebereich
• Bert Freudenberg, Maic Masuch, Uni Magdeburg
© Christian Geiger, 2002
4) Werkzeuge• Zahlreich für den Spiele-Bereich und ähnliche
Anwendungsgebiete, jedoch erst seit kurzem für Inhaltsexperten (Designer) geeignet – Konzentration auf 3D Desktop Bereich
• Realimation, EON, Alchemy,…• RealTime Pakete von 3D-Werkzeugen (Maya RTA, Max,…)• Director8.5, Virtools,…• Script Wrapper, Alice,…
11
© Christian Geiger, 2002
X3D Editor• Don Brutzman• X3D = 3D-Webformat, das VRML
entspricht und XML-basiert ist• Iso-Spezifikation• Nutzt Vorteile von XML für strukturierte
Darstellung und Möglichkeit der Übrufungerzeugter Konstrukte
• Editor basiert auf IBM‘s Xeena:XML-basiertes Werkzeug zum Erzeugen von XML-Sprachen
© Christian Geiger, 2002
Entertainment: Virtual Characters• Ken Perlin, NYU : Prozeduraler Shader für Emotionen• „procedural approach to modifying body movements so as to convey various
moods and personalities“. • „Yet for games, linear animation content (the equivalent of pre-canned acting),
does not suffice - characters need to change the way they act as the game playchanges the situation“.
• „For example, a character should use very different body language when in thepresence of a love interest, or when in the presence of a 30 foot fire breathingdragon“.
12
© Christian Geiger, 2002
Entertainment: Virtual Characters• Authoring glaubwürdiger 3D Charaktäre mit
prozeduralen Techniken und Noise-Funktionen• www.kenperlin.com
• Ziel: 3D-Entertainment zwischen Harry Potter und Lara Croft
© Christian Geiger, 2002
5) Anwendungsbereiche • Interaktive Illustration im Bereich
Edutainment / Infotainment• Z.B. Rekonstruktion von Artefakten• Zur Erläuterung technischer
Exponate
V. Paelke, L. Grötzbach, J. Stoecklein, C. Geiger, C: Reimann, W. Rosenbach: The AR-ENIGMA – A PDA based Interactive Illustration, SIGGRAPH Sketches & Applications, San Antonio, Texas, USA, July, 2002
13
© Christian Geiger, 2002
Fallstudie: Besuch im Computer• Ausstellung im Computermuseum
Paderborn• Illustration + Entertainment
(Zielgruppe: 12-16J) • Neben erklärenden Elementen
einfache 3D-Spiele zur Thematik
• Partner: Festo AG Esslingen, HNI Paderborn, Hochschule Harz
• Präsentation auf der Hannovermesse 2003 (DIM)• Echtzeit-3D Entwicklung mit alchemy
• Aufgabe HSH: Design von Spielideen, PrototypingMedieninhalte entwickeln, Unterstützung bei Spieleentwicklung
© Christian Geiger, 2002
Ansatz: Arkadespiele• Arcade- & Gesellschaftsspiele als erfolgreich
erprobte Spielideen• Vorteil:
– einfache, schnell erlernbare Spielkonzepte– schneller Spielablauf– abwechslungsreiche Spielschemata– Erfolg bereits bewiesen
14
© Christian Geiger, 2002
Erste Spielideen• Ideen zu RAM, ROM,
Steuerwerk, I/O, Binärem Rechnen
• Bem: Darstellung ist nicht das endgültige Design!
© Christian Geiger, 2002
Anwendungen für mobile Endgeräte• Mobile Endgeräte
– PDAs, Smartphones– Subnotebooks– (Farb-) Displays– z. T. mit Kamera
• Breitbandige Netzwerke– GPRS, HSCSD– UMTS– Wireless-LAN
15
© Christian Geiger, 2002
Anwendungsszenarien• Welche Anwendungen?• Welche Inhalte?
© Christian Geiger, 2002
Anforderungsanalyse durch Zukunftsworkshops
• Potentielle Nutzer und Experten• Generieren gemeinsam Anwendungs-Ideen• Verfeinern Ideen zu Anwendungs-Szenarien
Ergebnis: 31 Anwendungs-Szenarien
16
© Christian Geiger, 2002
Untersuchung:• Vorgehen:
–Ranking der Anwendungsszenarien–Auswahl von Szenarien–Machbarkeitsstudien
• Fragestellungen:–Strukturiertes Entwurfvorgehen–Nachweis der Benutzbarkeit–Einschränkung der Visualisierung und Interaktion–Leistungsfähigkeit von Netzwerk und Endgerät–Gewährleistung von „Fun-to-use“ und „Ease-of-Use“
© Christian Geiger, 2002
Basistechnologie (C-LAB)• PDA: Compaq iPAQ 3630
– 206 MHz Intel StrongArm– Windows CE / Linux– Display: 320 x 240 Pixel
• Camera: Analog– TriMedia 1100 for H.263
Encoding – via RS232 (115 kBit)
• Network:– IEEE802.11b -Wireless LAN– TCP/IP– 11 Mbit
17
© Christian Geiger, 2002
Virtueller Museumsführer
„Video-see-through“ „Abstracted 3D“ „Text Overlay“
© Christian Geiger, 2002
Virtueller Museumsführer (2)
Wizard-of-Oz Tests
„Reality“ rendered from R-Actors
„Augmented Reality“ rendered from Trigger Graph
Test-UserWizard Simulated „Reality“
18
© Christian Geiger, 2002
Financial Consulting
• Mögliche mobile Unterstützung beim Erwerb einer Immobilie:– Navigationssystem– Erläuterungen– Virtueller Haus/Gartenplaner– Finanzierung
© Christian Geiger, 2002
AR-Illustration „DigiCam“
19
© Christian Geiger, 2002
Mobile Games
© Christian Geiger, 2002
Mobile Games• In einer Studie analysierte
Datamonitor, dass bereits ab 2002 50% der Besitzer von mobilen Endgeräten Spiele nutzen werden. Bereits 2005 soll dies auf ca 80% der Benutzer ansteigen
• Mit Java-Entwicklung auf Handys, Xscale Prozessor als StrongArm Nachfolger sind ggf. Spiele die Killerapplikation für mobile Endgeräte
• Aktuelle Implementierung sind zur Zeit auf Arcade-Niveau, Kommerzielle 3D-Ansätze noch in weiterer Ferne
Auf dem Campfire präsentierte C-LAB eine reine Client-Lösung mit PCMCIA Camera-Modul von HP
AR Soccer, © C-LAB
20
© Christian Geiger, 2002
Neue Client-Version• HP Kamera in iPAQ• Reduktion der erkannten
Spielfläche• Optimierung der
Bilderkennung• Läuft vollständig auf dem
Client• 5-8 Frames
www.c-lab.de
© Christian Geiger, 2002
Rückblick: Campfire• Ca 40 Personen aus verschiedenen Disziplinen (Designer,
3D-CG, Animation, HCI, Engineers) • Breites Spektrum der Diskussionspunkte• Authoringthematik wird bisher nicht angemessen reflektiert
(auch aus Sicht der SIGGRAPH)• Sehr positives Feedback der Teilnehmer, Wunsch nach
regelmäßiger Veranstaltung• Post Proceeding mit erweiterter Darstellung der Arbeiten ist
geplant• www.agc.fhg.de/campfire
• SIGGRAPH CAMPFIRE‘s sind eine hervorragende Gelegenheit für den Versuch, eine Thematik zu etablieren
21
© Christian Geiger, 2002
Mobile Endgeräte• Entertainment / Edutainment und Infotainment sind
interessante Anwendungsfelder für mobile Endgeräte• Nur wenn einfach benutzbar und echter Mehrwert vorhanden• Einfache Erstellung notwendig!• Leistungsfähigkeit noch zu begrenzt für fortgeschrittene
interaktive 3D-Techniken (oder AR!)• Szenarien:
– Personal Information Management (PIM)– Multimediale Kommunikation (z.B. MMS)– Unterhaltung und Spiele– Kreative Anwendungen (z.B. Fotos)– Ortsbezogene Dienste– Externe GUI: „Graphische Fernbedienung“– Interaktive Illustrationen (z.B. Erklärungen und Anleitungen)
Unterschiede zu Desktop-Awendungen:Kontextabhängigkeit, Interaktionsdauer
© Christian Geiger, 2002
Entertainment / Games und R&D• Bisher sehr wenig…• Neben Spielentwicklerkonferenzen (GDC, etc) kaum
wissenschaftliche Betrachtung– IWEC: International Workshop on Entertainment
Computing, Mai 2002, Japan– In 2003 evtl Konferenz Entertainment Computing kurz vor
GDC geplant• Erste Bewegung gerät in etablierte Konferenzen im
bereich Computergrafik, Multimedia, etc.• Auch in R&D Abteilungen großer Unternehmen (z.
B. Siemens)
22
© Christian Geiger, 2002
Erste Vorlesungen im deutschsprachigen Raum
• Uni Magdeburg• FH Hagenberg• TU Wien• Uni Frankfurt• Hochschule Harz• …• Hochschule Bremen• Hier sind andere schon beträchtlich weiter, z.B.
– Univ. Salsbury bietet BSc Computer and Video Games– CNAM Institute Frankreich: Postgraduierten Studium Game Design,
PostProduktion
© Christian Geiger, 2002
Danke für‘s Zuhören!
Kontakt: [email protected]
23
© Christian Geiger, 2002
squippedVideobasiertes 3D-Adventure für PDA
HS Harz, Medieninformatikin Kooperation mit C-LAB
© Christian Geiger, 2002
Basiert auf MediaPoint• Einfache Präsentations-Software für IPAQ• Entwickelt im C-LAB Paderborn• Endlicher Automat mit Aktionen wie z.B.
– Bild / Text anzeigen– Video abspielen (PocketTv API)– Stift-Interaktionen
• XML-Beschreibung des Automaten ermöglich schneller Erzeugung und Test von Mock-Ups
24
© Christian Geiger, 2002
Neue Formen der Unterhaltung?• AR Quake von B. Thomas, U South Australia
Movie2.mov
© Christian Geiger, 2002
Extended Virtuality+Entertainment• University Singapur: Echtzeit-Rendering realer
Personen in virtuellen Umgebungen
25
© Christian Geiger, 2002
Interaktive 3D-Präsentation• Studentenprojekt der Hochschule Harz• Messedarstellungen, Give-Aways, Image-Medien (Visitenkarten-CD)• Skriptbasiertes Präsentationssystem, das Echtzeit3D + 2D in Layern
kombiniert, Import von 3D Max Szenen• Aktuelle Arbeiten ermöglichen Kombination 2D / 3D• Frei verfügbar (bald)
Präsentation für SBS
© Christian Geiger, 2002
3D->AR:Werkzeuge im AR-Bereich• Für AR existiert bisher (fast) nichts: ImageTcl AR, AR Toolkit• Eigener Ansatz für 3D/AR als bausteinorientierter Editor für
3D-Grafik + AR-Bausteine (Gems) (Diplomarbeit in PB)• 3D-AR Modellierungssystem Tinmith-evo5
Vorläufer der aktuellen Arbeit zu einem AR-Editor