Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten,...

68
Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin Uli Bockholt

Transcript of Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten,...

Page 1: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und

ihre Anwendung in der Medizin

Uli Bockholt

Page 2: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 2

Abteilung “Visualisierung und Virtuelle Realität”

Technisch Wissenschaftliche Visulaisierung

Virtuelle Realität Augmented Reality(Erweiterte Realität)

Page 3: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 3

??? Virtual Reality ???

Page 4: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 4

Zitate:

The primary defining characteristic of VR is inclusion; being surrounded by an environment. VR places the participant inside information.

W. Bricken, HIT Lab

Indeed, in the ultimate display one will not look at that world through a window, but will be immersed in it.

Ivan Sutherland, 1966

If I turn my head and nothing happens, it ain´t VR!Steve Bryson, NASA Ames

Was ist „Virtual Reality“?

Page 5: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 5

Warum VR?

Ich höre Ich vergesse

Ich sehe Ich erinnere mich

Ich probiere etwas aus Ich verstehe

Chinesisches Sprichwort

Page 6: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 6

VR Technology

Just say no!

Page 7: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 7

Trend: IPT (immersive projection technology)

Workbench

Stereoprojektion

CAVE

Page 8: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 8

Erste VR-Applikationen: Architektur und Design

Page 9: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 9

Ein öffentlich zugängliches Erlebniszentrum mit Technologien der virtuellen und erweiterten Realität.

Die Besucher sollen mit Spaß

- die Faszination neuer Medientechnologien erleben

- attraktive Wissensinhalte auf neue Weise erfahren

- und durch wechselnde, außergewöhnliche Attraktionenimmer wieder angeregt werden.

Cybernarium Darmstadt

Page 10: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 10

23. – 28. Januar 2002

Centralstation, Darmstadt

15 Attraktionen,18 Sponsoren5 Monate Planung

10.000 Besucher in der schätzungsweise nochmal soviele, die nicht reinkamen

Ausstellung

Wartezeiten bis zu 3 Stunden, teilweise vor dem Einlaß campierende Besucher

Cybernarium Days

Page 11: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 11

Die logische Erweiterung von „Virtual Reality”

Augmented Reality verstärkt die Wahrnehmung der Realität

? Kombination realer und virtueller Objekte

? Echtzeit-Interaktion

? 3D-Registrierung

Was ist „Augmented Reality“ (AR)?

Page 12: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 12

Augmented Reality („Erweiterte Realität“)

... steht für:

Präsentation von Informationen im Sichtfeld des Betrachters und in Überlagerung mit der Realität

Eine Kombination aus:

- Semi-transparent displays

- Tracking

- wearable Computer und Telekommunikation

- Interaktion mit realen und virtuellen Gegenständen und Informationen

eine Technologie, die sich weltweit im Pionierstadium befindet,

Page 13: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 13

Page 14: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 14

Augmented Reality

Page 15: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 15

Displays: interessante Trends

MicroOptical: hohe Akzeptanz Microvision: mit dem Laser direkt auf die Netzhaut (sehr hell)

Page 16: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 16

Reales Umfeld

Virtuelles Umfeld

AugmentedReality

VirtualReality

MixedReality

„Synergie von Virtueller und Erweiterter Realität“

Several classes of existing hybrid display environments can be found, which could reasonably be considered to constitute MR interfaces according to the ‘virtuality continuum’

Paul Milgram(Univ. of Toronto)

Mixed Reality

Page 17: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 17

?Mixed Reality Systeme ? in der Medizin

?Chirurgische ?Ausbildung

?Rechnergestützte?Diagnostik

?Praeoperative ?Planung

?Intraoperative?Unterstützung

Mixed Reality in der Medizin

Page 18: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 18

Computergraphik

Chirurgie

? offen minimal invasiv

2D Interaktion ?3D Interaktion

Paradigmenwechsel

Page 19: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 19

?Entscheidungs-?findung

?Handhabung

?Chirurgischer ?Ansatz

Anatomie

?Geschicklichkeit?. . .

Chirurgische Fertigkeiten

Page 20: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 20

? Training an Plastikmodellen

? Training an Tieren

? Training an Leichen

? „Learning by doing“

Chirurgisches Training ...

Page 21: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 21

Idee: VR basiertes Trainigssystem

Page 22: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 22

? Realistische Repräsentation deranatomischen Strukturen

? Intuitive Handhabung der Instrumente

? Realistische Repräsentation deschirurgischen Equipments

? 3D Interaktion

? Echtzeit Simulation

Anforderung

Page 23: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 23

Simulation

VR Training System

Model

Teilaufgaben

Page 24: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 24

Modellierung mit Hilfe der Konstruktionspläne

Chirurgische Instrumente

Page 25: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 25

Registrierung der Bewegungen mittels Trackingsystem (z.B. elektromagnetischGenauigkeit)Position: ~1.2 mmOrientierung: ~ 0.5 °

Simulation Chirurgischer Instrumente

Page 26: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 26

?Endoskop ? Untersuchen

?Zange ?Deformierung

?Schere ? Schneiden

Verschiedenartige Funktionalitäten

Page 27: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 27

0° Optik 12° Optik 30° Optik

Interaktionmittels derOriginal

-handgriffe

3D Interaktion

Page 28: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 28

Virtueller Situs

Anatomie

Morphologie

Physiologie

Biomechanik

Histologie

Virtuelle Anatomische Strukturen

Page 29: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 29

Datenakquisition

?Vorverarbeitung

?Segmentierung

?Gittergenerierung

?Reduzierung

Scanning

Bilddaten

?gefilterte Bilddaten

?Konturen

?Polygonale Modelle

3D Rekonstruktion

Page 30: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 30

Generierung virtuelle anatomische Strukturen

Schritt 1:Geometrie-rekonstruktion

Schritt 2:Rekonstruktion Der Oberflächen-beschaffenheit

Page 31: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 31

Homogenisierung

Komposition mit Hilfe von Kacheln

Kantenglättung

Endoskopische Videoaufnahmen

Bildvorverarbeitung

Generierung einer geeigneten Auflösung

Texturmapping

Texturgenerierung

Page 32: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 32

Texturgenerierung

Page 33: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 33

?Tracking

?.

Deformieren

?Rendern

Kollisionsdetektion

Schneiden

Rendering Loop

Page 34: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 34

Kantenmodelle derInstrumente

? Nur Instrumentspitzen sind berücksichtigt

? Nur äußere Kanten

Basis Test:

Kante versus Dreieck

Kollisionsdetektion

Page 35: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 35

Ansatz A:

Stosswichtende Funktion

Ansatz B:

Feder-Masse Sysem

Deformierungssimulation

? ? ? ? ??

???iNj

ijii FFtxutxum ,, ??? ?

Page 36: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 36

Verwendung von “Templates”

Simulation von Schneidevorgängen

Page 37: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 37

Berechnung Kraftvektor

?.Kraftvektorzerlegung

Tracking

?.

?Haptisches Rendering

Kollisionsdetektion

Simulation von Haptik

Page 38: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 38

? Endoskopischen Fenster? Übersichtsfenster? Kollisionsstatistik? Mpeg? Selektion der Optik

2D Benutzungsschnittstelle

Page 39: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 39

NasalEndoscopy

Simulator(NES)

Rhinoskopie

Page 40: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 40

Virtual Reality

Arthroscopy TrainingSimulator(VRATS)

Arthroskopie

Page 41: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 41

Virtual Reality

Arthroscopy TrainingSimulator(VRATS)

Arthroskopie

Page 42: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 42

Hysteroskopie

LAHYSOTRAIN

Laparoskopie/HysteroskopieTrainingssystem

Page 43: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 43

?Rechnergestützte Diagnostik

Page 44: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 44

PatientenspezifischeBiomechanik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

Simulation von Deformierungs-

verhalten ......

Page 45: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 45

PatientenspezifischeBiomechanik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

Simulation von Deformierungs-

verhalten ......

Page 46: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 46

Tomographiedaten Experimentelle Untersuchungen

FEM Software

Page 47: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 47

Diagnostisches Ablaufdiagramm

Geometry Nasenkanal Simulationsgitter

Visualisierungs-komponente

3D R

ekon

struk

tion

Gittergenerierung

Strömungssim

ulation

CT Schichten

Page 48: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 48

PatientenspezifischeBiomechanik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

Simulation von Deformierungs-

verhalten ......

Page 49: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 49

Simulation von Belastungsverteilungen auf Bandscheibe und Wirbelkörper

Page 50: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 50

PatientenspezifischeBiomechanik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

Simulation von Deformierungs-

verhalten ......

Page 51: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 51

Generierung von

? 3D-Objekt des Oberkiefers ? 3D-Objekt des Unterkiefers? 3D-Objekt des Bißregistrats ? 3D-Objekt des Referenzpunkt-systems

via

? 3D Streifenprojektionsscan ? 2,5 D Laserscan

Page 52: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 52

Visualisierung Okklusionen

Statische Visualisierung der Okklusionen (Akkumulierend)

Dynamische Visualisierung der Okklusionen

Page 53: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 53

Page 54: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 54

PatientenspezifischeBiomechanik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

Simulation von Deformierungs-

verhalten ......

Page 55: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 55

Simulation von Gewebedeformierungen am Beispiel des Meniskus

Page 56: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 56

?PraeoperativePlanung

Page 57: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 57

Robotergestützte Chirurgie

Page 58: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 58

Möglichkeiten:

? Auswahl des geeignetenImplantats

? Platzierung des Implantats

? Navigation durch die Patientendaten

? Definition von Planungsschritten

? Praxistaugliche Planungszeiten

Benutzungs-oberflächeRobotik

Komponente

Patienenspezifische Bilddaten

ImplantatModelle

Planungs-System

Operationsplanung zur robotergestützten Chirurgie

Page 59: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 59

Selektion der geeigneten Prothese und Platzierung im Datensatz

Planungssystem Knieprothese

Page 60: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 60

Planungssystem Wirbelsäulenchirurgie

Selektion und Platzierung von Pedikelschrauben

Page 61: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 61

?Intraoperative Operations-

unterstützung

Page 62: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 62

Intraoperative Operationsunterstützung

Teilaufgaben:

? Registrierung der Patientin bzw. des Patienten? Tracking von chirurgischen Instrumenten im Körperinneren? Darstellung auf 2D Schnittbildern (CT, US, MRI etc.)? 3D Volumendarstellung

Anwendungsbeispiel:

? Überlagerung von praeoperativen Daten

Page 63: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 63

AR in der Medizin

Preoperative Tomography Scans

Tracking of the instruments

Virtueller Situs

Intraoperative Sensors

Augmented Reality Visualisation

Page 64: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 64

AR in der Medizin

? Datenerhebung: Erfassung relevanter Bereiche des Patienten,ggf. Fusion multimodaler Verfahren

? Registrierung: Räumliche 3D-Verbindung des realen unddes virtuellen Patienten

? Tracking: Patiententracking, InstrumententrackingDisplaytracking, Chirurgtracking

? Visualisierung: Kombinierte Visualisierung von realen Patientendaten und rechnergenerierten Daten

? Interaktion: Intuitiver Datenzugriff unter Einbeziehung multimodaler Technologie

Page 65: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 65

AR in der Medizin

-AR-UROLO - Augmented Reality System für die Urologie

Echtzeitbildverarbeitung und Überlagerung von Endoskopiebildern

Page 66: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 66

AR in der Medizin

-ERIAS – Enhaced Reality Integration in Robot-Assisted endoscopic Surgery

? Navigationsunterstützung? Zuwegplanung? Überlagungs von

Planungsergebnissen? Simulation? Registrierung

Page 67: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 67

AR in der Medizin

Demonstrator MEDICA 2001

? Überlagerung von MR Daten auf den Patienten

? Echtzeitregistrierung? 3D Rekonstruktion? Volumenrendering? Hybrides Rendering

Page 68: Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002 BestPractice

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 68

Zusammenfassung

„Mixed Realities“ schaffen neue, visionäre Möglichkeiten in folgenden medizinischen Bereichen

? Chirurgische Ausbildung 3D Anatomieatlanten, VR Trainingssimulatoren

? Rechnergestützte DiagnostikBiomechanische Simulationen, Virtuelle Endoskopie

? OperationsplanungRobotergestützte Chirurgie, Therapieplanung

? Intraoperative OperationsunterstützungNavigationsunterstützung, Erweitertes Chirurgisches Blickfeld