STAATLICH ANERKANNTE FACHHOCHSCHULE

Stand und Entwicklung

von Serious Games

im Bereich Prävention

und Gesundheit

Prof. Dr. Daniel Görlich

Fakultät für Informatik

Kurzvita

› 1979 geboren

› 1999 Studium Informatik & Psychologie

› 2005 (Senior) Consultant und Teamleiter,

Zentrum für Mensch-Maschine-Interaktion (ZMMI) am

Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI)

› parallel Promotion (2009)

› 2010 Manager am Fraunhofer-Institut für

Experimentelles Software Engineering (IESE)

› 2011 Berufung an die SRH Hochschule Heidelberg:

Fakultät für Informatik Studiendekan „Virtuelle Realitäten“

Konzept einer hochgradig immersiven VR

Virtuelle Realitäten für Serious Games

› voll-immersive VR kaum möglich

› Fokus auf Bildprojektion

und Bewegungserkennung

› Druck, Vibration, Temperatur?

› Hindernisse, Bodenunebenheiten?

› Gerüche und Geschmack?

› Sie werden mir sicher zustimmen,

dass eine solche Ausstattung in den

nächsten Jahren sicher nicht von

den Krankenkassen übernommen

werden wird!

› hier interessanter:

› VR ohne Geräte am Körper

› AR = Augmented Reality

› AV = Augmented Virtuality

Virtuelle Realitäten für Serious Games

› geringer Realismus genügt für Therapie-Zwecke

› menschliche Vorstellungskraft ergänzt VR Immersion

› Virtual Reality (Immersion / Exposure) Therapy

› Arachnophobie

› seit 1999

Projekt „Arachnophobia Therapy Through Virtual Reality“ (1999)

Virtuelle Realitäten für Serious Games

Das Telemental Health VR Project konfrontiert Irak-Veteranen mit

Post-traumatic Stress Disorder (PTSD) mit der Software „Virtual Iraq“

› geringer Realismus genügt für Therapie-Zwecke

› menschliche Vorstellungskraft ergänzt VR Immersion

› Virtual Reality (Immersion / Exposure) Therapy

› „Telemental Health VR Project“

› „Virtual Iraq“

› seit 2005

› 5 Mio. US-$

› Erfolgsrate >70%

Virtuelle Realitäten für Serious Games

› Fokusverschiebung: Rehabilitation Prävention, Fitness, …

› Spaßfaktor / Motivation erhöht Erfolg

› Anforderungen:

› Privatnutzer & Krankenkassen suchen kostengünstige Lösungen

› Anwendbarkeit erfordert „Natural User Interfaces“ (NUI)

› gezielter Einsatz erfordert Personalisierung (z.B. Trainingspläne)

› Implikationen:

› Verzicht auf Spezialkleidung & Zusatzgeräte

› Trend zu kamerabasierten Systemen + Augmented Reality / Virtuality

› Allrounder statt Spezialgeräte Spielekonsolen?

Sony

› 2003 EyeToy für PS2, 2007 Eye für PS3

› primär Bild- und Videoaufnahme

in-game (z.B. für Tanzspiele)

Bewegungs- & Gestenerkennung

nur in hell erleuchteten Räumen

› eher Kult als gut

› 2005: Exergame „EyeToy: Kinetic“

› entwickelt von Sony & Nike Motionsworks

› Zonen: Cardio, Combat, Toning, Mind & Body

› Personal Trainer Mode: 12 Wochen, Stufen

Sony

› 2010:

PlayStation Move Controller

› hauptsächlich Fitness

Nintendo Wii

› 2006 1 Woche nach PS3, 1 Jahr nach Xbox 360

› Wiimote + Balance Board

› Spiele: Wii Sports (2006), Wii Fit (2008), Wii Fit Plus (2009)

› Fitness spielerisch – statt medizinisch

› bessere intrinsische Motivation

› Spiele kaum individualisierbar

› Trainingspläne?

› Systeme leicht überlistbar

› Deutschland-Start Wii U: 30.11.

Microsoft Kinect

› Release: Nov. 2010

› 500 Mio. US-$

Marketingkampagne

› neue Zielgruppen:

› People und InStyle

› Oprah Winfrey Show

› Dancing with the Stars

› 8 Mio. Geräte in 60 Tagen

› Guinness-Buch-Eintrag als

„fastest selling consumer electronics device“

› Februar 2011: Kinect SDK für Windows

Microsoft Kinect

Jan Löhr

› Fakultäten für Informatik & Therapiewissenschaften

› Evaluation für Therapiezwecke

› Balance-Training mit Kinect:

› Leistungsverbesserung lokaler Stabilisatoren

› Sprunggelenk- & Hüftgelenkstrategien

› Wiederholung & Geschwindigkeit

Microsoft Kinect

› Sichtfeld der Kinect beschränkt Bewegungsfeld:

› theoretisch: 0,8 bis 4,0 Meter

› praktikabel: 1,2 bis 3,5 Meter

Microsoft Kinect

› Tiefensensor

› Tracking States verfolgen verdeckte Joints

› Messungenauigkeiten

Microsoft Kinect

› Skeleton frame streams

› 20 Joints pro Person für maximal 2 verfolgbare Personen

Microsoft Kinect

› Skeleton frame streams

› 20 Joints pro Person für maximal 2 verfolgbare Personen

› RAMSIS: 53 Joints, 104 Freiheitsgrade (DoF)

› Human Builder: 99 Joints, 148 DoF

› Jack: 68 Joints, 135 DoF

Zwischenfazit

› Fazit:

› beschränkte Wahrnehmung (20 joints, Verdeckung, keine Objekte)

› Messungenauigkeiten Feintuning, Einlernen, Algorithmen

› vereinzelte Spiele statt umfassende individuelle Trainingsprogramme

› Empfehlung:

› Reiz-Reaktions-Training, wiederholte Übungen, Sport

› ungeeignet für präzise Bewegungen (lokale Stabilisatoren, Feinmotorik, …)

› Bedarf:

› zusätzliche Sensorik

› Autorenwerkzeuge, Trainingsplan-Generierung

› Datenerfassung und -übermittlung

Weiterführende Projekte

› Motivotion60+ (09/2009 – 08/2012 mit 4,1 Mio. €)

› BMBF-gefördertes AAL-Verbundprojekt

› Anbindung verschiedenster Vitaldaten-Sensoren

basierend auf Projekten wie HugMe oder Sierra

› Trainingspläne mittels Autorenwerkzeug StoryTec (für Lernspiele)

Weiterführende Projekte

› Fraunhofer FIRST: Projekt MyRehab (08/2009 – 07/2012)

› Kinect zur Datenerfassung zusätzliche Box „Reha@Home“

Auswertung zusätzlicher Sensoren: Herzfrequenz, …

Daten-Speicherung & ggfs. Weiterleitung an Therapeut oder Arzt

VIELEN DANK

FÜR IHRE AUFMERKSAMKEIT!

ZUSATZFOLIEN

Virtuelle Realität

› virtuelle, augmentierte und gemischte Realitäten

› breite Anwendung

› technische Hilfsmittel:

Head-Mounted Displays und Retinal Displays

Das große Sarah Wiener Kochspiel

› Entwicklung unterstützt von der TK

› nominiert als Bestes Serious Game (Dt. Computerspielpreis 2010)

› Lernspiel für gesunde & abwechslungsreiche Ernährung

Microsoft Kinect

› Kinect als 3D-Scanner

› Microsoft Research: Projekt „Kinect Fusion“

› Software „ReconstructMe“ der PROFACTOR GmbH:

XaviX® Port

› 2004

› Newcomer: SSD COMPANY LIMITED, www.xavix.com

› Datenhandschuhe, Bewegungserkennung

› virtuelle Repräsentation der Spielerbewegungen Immersion

› sehr schnell Fokus auf Sportspiele

› Tennis- & Baseballschläger, Boxhandschuhe,

Golfschläger, Angeln u.v.a.