Whitepaper Virtual Reality in der Medizin und in der ... · Exkurs: Virtual Reality im...

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Whitepaper Virtual Reality in der Medizin und Medizintechnik Techniken, Anwendungen, Ergebnisse

Von:

http://www.vdc-fellbach.de/

http://www.feynsinn.eu/

http://www.bernd-kussmaul-gmbh.de/

http://www.barco.com/

http://www.dav-it.de/

http://www.hs-esslingen.de/

http://www.vrlab.reutlingen-university.de/

http://www.esigmbh.de/

http://www.hlrs.de/

http://www.lumo.de/

http://www.hs-mannheim.de/

http://www.laval-technopole.fr/

http://www.reden.nl/en

http://www.vrca.rwth-aachen.de/

http://www.vrmmp.it/index.htm

http://www.center-of-visualization.org/

http://www.bfh.ch/

http://www.ipa.fraunhofer.de/

http://www.visenso.de/


Intraoperative Unterstützung

Digitale Atlanten

VR-gestützte Diagnostik

VDC-Whitepaper

VR in der Medizin

und Medizintechnik

Analyse Simulationsdaten

Planung Eingriff

Tele-Medizin Rehabilitation Ausbildung und Training

Workflow und Anordnung

Übersicht Illustration

2

Herausforderungen

Umfeld:

Notwendig im Training:

- realistisch

- seltene Pathologien

- objektive Bewertung der Leistung

- einfacher Zugang

- Szenarien-Simulation

Training nach wie vor auch am Patienten

Assessment des Chirurgen/Studenten

Beherrschung vieler Wissensdomänen

permanente Weiterentwicklung

von Behandlungsmethoden

Koordinationsaufgabe Team

eingeschränkte Sicht,

indirektes Arbeiten

komplexe 3D-Daten,

schwierige Bildinterpretation

multimodale Interaktion

Planung komplexer Operationen

komplexe Gerätetechnik

Anwendung für Geräteentwicklung

Szenarien-Simulation für Therapie

Übersicht




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




3

Anwendungsfelder


- Analyse 3D-Daten aus

volumengebenden Verfahren


- Festigkeits-/Spannungsberechnung

- Kinematiken, Mehrkörpersysteme

- Strömung, Fluidik

Planung Eingriff

- Abläufe, Wege

- Bestrahlung


- Navigationsunterstützung

- erweitertes chirurgisches Blickfeld

Tele-Medizin

- Telepräsenz mit VR

Rehabilitation

- Motorik

- psychiatrische Therapie

Digitale Atlanten

Training

- endoskopische Verfahren

- chirurgische Tätigkeiten

- Abläufe und Prozesse,

Gerätetechnik

Workflow- und

Anordnungsplanung

Illustration Medizintechnik

für die Marketing-Kommunikation

Übersicht




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




4


immersive Analyse von

Ergebnissen volumen-

gebender Verfahren:

CT, MRT, Ultraschall

räumliche 6DOF-Interaktion

Nutzung von Stereoskopie

und Bewegungsparallaxe

(über Head Tracking):

Verbesserung räumliche

Tiefenwahrnehmung

Bild: Fh-IPA

Bild: ZGDV Darmstadt

Bild: VPH/ZGDV

DigiHom

3D-Darstellung

Gehirntumor mit

Blutgefäßen

3D-Szene aus Inhalten

volumengebender

Verfahren





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




5

VR-gestützte Diagnostik – einsetzbare Techniken

Fehlfarbendarstellung: eine

physikalische Größe (wie z. B.

Temperatur) wird über eine

Farbcodierung sichtbar

gemacht

Proben: der Betrachter kann

mit einem Messfühler das

Modell abfahren und

Messwerte anzeigen lassen.

Der Messfühler kann bezüglich

der gemessenen Größe

variabel sein.

Schnitte: das 3D-Modell wird

so angeschnitten, dass die für

den Betrachter wichtigen

Bereiche gut zu sehen sind

Zeitraffer, Zeitlupe:

Animation: für das Erkennen

zeitlicher Zusammenhänge

Überhöhen: physikalische

Größe wird verstärkt, so

dass sie sichtbar wird

komparative Darstellung:

alternative Prozesse werden

simultan gezeigt, um

Unterschiede zu erkennen

subtraktive Darstellung: nur

Unterschied zwischen zwei

Prozessalternativen wird

angezeigt. Damit lassen sich

Prozessunterschiede noch

leichter ausmachen

selektive Darstellung nach

Werten: nur Modellbereiche mit

bestimmten Messwerte

angezeigt: Problemzonen

Superposition:

2 Simulationsergebnisse oder

ein Versuchsteil und ein

Simulationsergebnis werden

graphisch überlagert:

Optimierungspotenzial des

Simulationsmodells oder

Schwankungen des Verfahrens

Inline-Unterstützung mit AR:

Überlagerung Messwerte /

Prozessparameter auf Situs

(-> intraoperative Unterstützung)





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




6


Festigkeits- und Spannungsberechnung:

Überprüfung

Geometrie Implantat

Einbringungsort

Funktionsweise

Belastungen, Spannungen

am digitalen Modell.

Bild: Fh-IGD

Bilde CADFEM

Analyse der Statik

Knieimplantat

Anpassen Implantat

auf individuelle

Wirbel-Geometrie;

Spannungsberechnung

Implantat

Spannungsberechnung

Oberschenkelknochen

mit Implantat;

Dekubitus-Simulation:

Spannungen an Knochen

Bild: Visenso

Bild: CADFEM

Bild: Visenso





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




7


Kinematik und Mehrkörpersysteme:

Überprüfung

Bewegungen, Bewegungsgrenzen,

Geschwindigkeit, Passgenauigkeit

Kräfte, Drehmomente

Spannungen


Bild: Fh-IGD

Bild: AnyBody

Hüftgelenk:

Analyse Kräfte

Kiefer:

Analyse von

Bewegungspathologien,

Validierung von

Implantationen

Bein:

digitales Modell der

Muskeln und Knochen

Bild: Blundell





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




8


Strömung und Fluidik:

Überprüfung

Flussgeschwindigkeiten

Verwirbelungen

umströmte Bereiche,

unumströmte Bereiche


Bild: Fh-IGD

Bild: Fh-IGD

Bild: Visenso

Strömungssimulation

Nasenströmung

3D-Modellierung,

Simulationsmodell

Strömung

Naseninnenraum

Simulationsmodell

Strömung Aneurisma





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




9

Prä-operative Planung - Simulation des Eingriffs

Ablaufplanung

Wegeplanung

Fügen

Anwendungsbeispiele:

Ostheosynthese-Planung

diverse Anwendungen Chirurgie

Bestrahlungsplanung

Bild: HS Bern

Bild: HS Bern

Bild: BMBF

virtuelle

Ostheosynthese

3D-Interaktion mit

3D-Daten zur

Ostheosynthese

Operationsplanung

Metastasen (gelb),

die Pfortader

(orange) und die

Lebervenen (blau)

Planung Eingriff




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




10

Planung – Beispiel Leber-Resektion

Verschiedene

Aufteilungswerkzeuge

zur Simulation einer

atypischen Resektion:

a) Ebene

b) Kugel

c) formbare Fläche

Bilder: TU Graz

3D-Messwerkzeuge

für die räumliche

Analyse:

a) Distanzmessung

b) Volumenmessung

einzelner Objekte

c) Volumen-Summe

über virtuellen

Messbecher

Planung Eingriff




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




11

Exkurs: Erweiterte Realität (Augmented Reality – AR)

Grundgedanke: Überlagerung natürlicher Sicht mit

Computer-generierten Informationen

Kontext-Sensitivität, Alpha-numerischer oder

3D-Content

Abgleich Realität vs. Modell einfach:

Konsistenz-Checks digitales Modell – phys. Welt

Digitalisierung nicht immer / so umfangreich

erforderlich

hohe Verständlichkeit durch Andocken der

Computergrafik an reales Objekt

Einsatz in Fällen, bei denen Handbuch schwierig

Anleitung, Anweisung, Verdeutlichung,

Unterstützung im Arbeitsprozess

Bild: metaio

Bild: Volkswagen

Datenbrille

CAD-Model über

physischem Prototyp

Einplanen Ausrüstung

in Fabrikhalle

Übersicht




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




12


Bereitstellung 3D-Daten aus

volumengebenden Verfahren

technische Daten, Messdaten

unterschiedliche Systemkonfigurationen

denkbar (prototypisch getestet)

- Display zwischen Chirurg und Situs

(video-see-through oder

optical-see-through)

- Projektion auf Situs

- nebeneinander auf separaten

Displays (nächste Seite)

Bild: ZGDV

Bild: ZGDV

Bild: Surgical Planning

Laboratory, Harvard

Möglicher Hardware-

Aufbau: Display über

dem Patienten

Blick durch das Display:

Zusatzinformationen in

der normalen Sicht

Aufprojektion

3D-Daten





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




13


Bild: Universität Bern

9. Oktober 2012: Am Berner ARTORG

Center for Biomedical Engineering wird

chirurgische Navigationstechnologie mit

Darstellungen von Erweiterter Realität (oder

Augmented Reality) verbunden. Diese

Technologie ermöglicht es, während einer

Operation auch die innere Struktur eines

Organs abzubilden. Das neue Verfahren

wurde nun erstmals bei einer komplexen

Leber-Operation eingesetzt.

Die Leber wird dreifach dargestellt: Ein

Bildschirm im Operationssaal zeigt 3D-

Computertomographie (CT)- und

Magnetresonanz (MRT)-Aufnahmen,

welche die innere Anatomie der Leber des

Patienten zeigen. Auf einem weiteren sind

Endoskop-Bilder der Miniaturkamera zu

sehen, und ein dritter Bildschirm

schließlich zeigt eine Kombination von

beiden, also ein überlagertes,

«realitätserweitertes» Bild. Sämtliche

relevanten Informationen werden so in

einem «chirurgischen Cockpit» auf

mehreren Bildschirmen zusammengeführt –

und dies verhilft zu einer einfacheren

Orientierung und zu besseren

Entscheidungen.





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




14

Tele-Medizin

Tele-Chirurgie: Telepräsenz-Anwendungen,

bei der sich Chirurg und Patient an

verschiedenen Orten befinden

Anwendungsszenarien:

vor-Ort-Behandlung Unfallopfer,

Soldaten, Transportunfähige

Fern-Diagnose

long-distance vs. short-distance

Einbezug entfernter Spezialisten:

Telekonsultation

Bilder: Internet-Blog „Geste, image, sens“

Schema Tele-Chirurgie.:

Als ein Paradebeispiel

für die „long-distance“-

Anwendung wird eine

im Jahre 2001

durchgeführte

Gallenblasenentfernung

gesehen. Hier wurde

eine Patientin in

Straßburg von

Roboterarmen operiert,

die von einem Chirurgen

in New York bedient

wurden.

Tele-Medizin




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




15

Rehabilitation

Motorik:

Unterstützung Bewegung

bewusste Einschränkung

ungewollter Bewegungsrichtungen

Durchführung von Übungen

objektive Erfolgsmessung

Bild: Gupta, O’Malley

Bild: Blundell

Bild: O‘Malley, Ambrose

Das MAHI Exoskelett

Haptic Workstation

für Training nach

Schlaganfall

6DOF JPL arm master

Rehabilitation




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




16

Rehabilitation

Behandlung Phobien und Süchte durch

individuelles Training im Simulator

Behandlung der Posttraumatischen

Belastungsstörung (PTSD)

Schmerzkontrolle für Verbrennungspatienten

Untersuchung des Patientenverhaltens

und -empfindens

kognitiv-verhaltenstherapeutische Methoden

Begleitet durch Analyse problematischer

Denkmuster, konkrete

Verhaltensübungen

und die Beeinflussung

körperlicher Prozesse

(z. B. durch gezielte

Entspannungstechniken)

Bild: Uni Würzburg

Bild: VT+

Bild: Uni Würzburg

VR-Flugszene

VR-Höhenszene

VR-Spinnenszene Bild: Uni Würzburg

VR-Tunnelfahrt

Rehabilitation




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




17

Rehabilitation

Bild: VT+ VR-Höhenszene

Rehabilitation




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




Motorik

VR-Szene zum Einsatz

des Stethoskops

virtuelle Operation mit

der dazugehörigen

haptischen Schnittstelle

18

Bild: The Medical News (2010): http://www.thaimedicalnews.com

Bild: VRMMP

Bild: VRMMP

Exkurs: Virtual Reality im Wissensmanagement

Wissensarten in Virtuellen Umgebungen:

Positionswissen: was ist wo?

Strukturwissen: wie hängt was zusammen?

Verhaltenswissen: wie verhält sich das System?

Wie verhalte ich mich?

Prozedurwissen: welche Abläufe bewirken was?

Lernmöglichkeiten in Virtuellen Umgebungen:

räumliches Explorieren

konzeptuelles Lernen

Erlernen motorischer Fähigkeiten

prozedurales Lernen

Übersicht




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




19

Digitale Atlanten

Vermittlung Positionswissen

Vermittlung Strukturwissen

Anatomie, Physiologie, Biomechanik

Clipping (Wegschneiden von

graphischen Bereichen für eine

freie Sicht auf Relevantes)

Transparenz (Durchsicht)

Animation

Bild: Fh-IPA

Bild: Google

Bild: Bratz

3D-Darstellungen

von Gehirn und Herz

Google Body Browser

DigiHom

Bild: BMBF

Digitale Atlanten




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




Bilder: Projekt HASASEM

20

Training

Simulations-

umgebung eyesi:

Ophtalmo-Chirurgie

Elektrorheologische

Flüssigkeit zur

haptischen Darstellung

von Elastogrammen.

Anwendung: Palpation

zur Identifikation

pathologischer

Veränderungen

des Gewebes

Bild: BioSkill

Bild: VRmagic

BioSkill-Simulator

für Endsokopie

und Laparoskopie

Trainingsszenarien mit visuellen

und haptischen Modalitäten

Lernstufen: Vorführen,

Begleiten, Prüfen

virtuelle Endoskopie,

Laparoskopie

virtuelle Palpation

Ausbildung und Training




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




21

Training

Diagnostik:

Bereitstellung von Trainingsszenarien


Rhinoskopie

Ophtalmoskopie

Arthroskopie

Hysteroskopie

Bild: Fh-IGD

Bilder: VR Magic

Bild: Fh-IGD

virtuelle

Rhinoskopie

virtuelle

Ophtalmoskopie

virtuelle

Hysteroskopie

virtuelle

Arthroskopie Bild: Fh-IGD





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




22

Training

Eingriff

Bereitstellung von Trainingsszenarien


Ophtalmochirurgie

Vitro-retinale Eingriffe,

Katarakt

Koloskopie

Bild: Uni Heidelberg

Bilder: Uni Heidelberg

Bilder: Uni Heidelberg

Ophtalmochirurgie

Ophtalmochirurgie

EndoSim,

Schema Koloskopie,

3D-Szene aus der

virtuellen Koloskopie





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




23

Training

Abläufe und Prozesse:

Bereitstellung von Trainingsszenarien für

Prozeduren

Reihenfolgen

Einbindung Personal

Hilfsmittel

Bereitstellungsorte

Verwendung Gerätetechnik

Bild: Texas A&M University



virtuelle Überprüfung

Adaption des Auges

(Pupillenreflex)

virtuelle Palpation

der Wirbelsäule

Umgang mit

Gerätetechnik





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




24

Training

Abläufe und Prozesse - Noteinsatz-Simulatoren:

Gewinnung Übersicht,

Sicherung

Selbst-Organisation,

Team-Organisation

Koordinierung Personal

Bild: ETC Simulation


Bild: E-Semble

Simulationsumgebung

ADMS

Mitarbeiter-Steuerung:

Simulationsumgebung

Pulse!!

Simulationsumgebung

XVR





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




25

Workflow- und Anordnungsplanung

Layout-Optimierung nach

Erreichbarkeit, Minimierung Wege,

Übersicht, Flussprinzip

hohe Auslastung Gerätetechnik bei

geringen Wartezeiten der Patienten

(Ressourcen-orientierte Eintaktung)

u.a. Verwendung von Materialfluss-

Simulationen

Ablaufbeschleunigung

Bild: FH Bern

Bild: FH Bern

Bild: FH Bern

virtuelle

OP-Szene

(Projekt Hovisse)

Arbeitsgruppe am

Planungstisch

(Projekt Hovisse)

Draufsicht und

4 Perspektiven

(Projekt Hovisse)





Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




26

Illustration in der Marketing-Kommunikation

realistische Darstellung auf Basis 3D-Daten

Verständnis erzeugen

Prospektmaterial, Web, (Stereo-)Filme

Interaktion möglich

2D-Zeichnungserstellung auf Basis der

Konfiguration

Produktvarianz vermitteln

Individualisierung:

Konfiguration modularer Designs

durchgängige Vertriebs- und Angebotsprozesse

verlässliche und korrekte Angebote selbst für

komplexe Produkte

innovativer Außenauftritt

Bild: LumoGraphics

Computergraphik

Operationssaal für

die Fa. Berchtold

virtueller OP-Saal:

Ausschnitt aus

3D-Stereo-Film

für KLSmartin

chirurgische

Instrumente:

Ausschnitt aus

3D-Stereo-Film

für KLSmartin

Bild: Visenso

Bild: Visenso

Illustration




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




27

Fazit

sehr breites bestehendes Einsatzspektrum von Virtual Reality

in der Medizin und Medizintechnik

Medizin ist das am stärksten spezialisierte Anwendungsgebiet der VR

auch mit sehr spezifischer Gerätetechnik

Herausforderung:

- Registrierung

- Generierung 3D-Daten in Echtzeit

komplexe Modelle, die alle Facetten der Realität widerspiegeln

Deutschland, Schweiz, USA sehr weit vorne dabei – Spezialisten in der Nähe

Übersicht




Digitale Atlanten


VDC-Whitepaper

VR in der Medizin

und Medizintechnik


Planung Eingriff




28

VDC-Mitglieder und -Partner im Thema VR-Medizin-Medizintechnik

Übersicht


http://www.feynsinn.eu/

http://www.bernd-kussmaul-gmbh.de/

http://www.barco.com/

http://www.dav-it.de/

http://www.hs-esslingen.de/

http://www.vrlab.reutlingen-university.de/

http://www.esigmbh.de/

http://www.hlrs.de/

http://www.lumo.de/

http://www.hs-mannheim.de/

http://www.laval-technopole.fr/

http://www.reden.nl/en

http://www.vrca.rwth-aachen.de/

http://www.vrmmp.it/index.htm

http://www.center-of-visualization.org/

http://www.bfh.ch/

http://www.ipa.fraunhofer.de/

http://www.visenso.de/


29

Das Thema interessiert Sie

und Sie suchen nach Umsetzungspartnern? Sprechen Sie mit uns.

VDC. Netzwerk für Virtual Engineering.

Virtual Dimension Center (VDC)

Auberlenstr. 13

70736 Fellbach

Tel.: 0711 / 58 53 09-0

[email protected]

www.vdc-fellbach.de

mailto:[email protected]






Whitepaper Virtual Reality in der Medizin und in der ... · Exkurs: Virtual Reality im...

Documents

Transcript of Whitepaper Virtual Reality in der Medizin und in der ... · Exkurs: Virtual Reality im...