Adaptive Bewegungsanalyse vonphysiotherapeutischen

Übungen für eine optimierteMensch-Roboter-Trainingsinteraktion

Jan P. Vox, Sven Franz, Frank Wallhoff

Jade Hochschule Oldenburg, Institut für Technische Assistenzsysteme,Ofener Str. 16/19, 26121 Oldenburg (e-mail: jan.vox@jade-hs.de,

sven.franz@jade-hs.de, frank.wallhoff@jade-hs.de)

Zusammenfassung: Bei der Ausübung von physiotherapeutischen Übungen ist besondersdas Reflektieren der Bewegungsabläufe für ein erfolgreiches Training von Bedeutung. Ineiner Mensch-Mensch-Trainingsinteraktion kann eine Therapeutin oder ein Therapeut dietrainierende Person unterstützen, Bewegungsabläufe korrigieren und motivieren. In diesemBeitrag wird ein Mensch-Roboter-Trainingssystem als Proof-of-Concept vorgestellt, welchesBewegungsübungen basierend auf physiotherapeutischen Wissen analysiert. Dabei fungiertein humanoider Roboter als interaktiver Trainer und eine Tiefenbildkamera als Sensor fürdie Bewegungswahrnehmung. Zu Beginn einer Trainingsphase lernt das System den Be-wegungsablauf durch Vormachen einer Übung kennen und adaptiert sich in der Analyseentsprechend des Trainingsstandes, der Körperstatur und der Bewegungseinschränkungen.Während des Trainings wird der möglichst optimale Zeitpunkt und situationsbezogene Inhalteiner unterstützenden, korrigierenden oder motivierenden Ausgabe des humanoiden Robotersberechnet. Insgesamt wird ein interaktives Trainingssystem vorgestellt, wobei ein humanoiderAssistenzroboter den Interaktionszeitpunkt und den Ausgabedialog nach formalisierten the-rapeutischen Beobachtungsmerkmalen auswählt.

Keywords: Bewegungsanalyse, Assistenzroboter, NAO, Kinect, Physiotherapie, kognitivesAssistenzsystem

1. EINLEITUNG

Physiotherapeutische Übungen sind ein wichtiger Bau-stein, sowohl in der Rehabilitation als auch in der Präven-tion verschiedenster Krankheitsbilder. Neurologische, or-thopädische und kardiologische Defizite können durchspezifisches Training behandelt werden. Dies findet vor-wiegend in Krankenhäusern oder physiotherapeutischenPraxen statt und wird von ausgebildeten Therapeutin-nen und Therapeuten ausgeführt. Neben passiven Maß-nahmen spielen, je nach Einschränkung, aktive Übungenwährend der Behandlung eine große Rolle.

In diesem Beitrag wird ein sich in der Entwicklungbefindliches System vorgestellt, in welchem der huma-noide Roboter NAO (Suh [2013]) als Trainingsassistentfungiert. Während eines Trainings wird der Bewegungs-ablauf mittels eines Kinect V2 Sensors messtechnischverfolgt und auf Basis erhobener Merkmale interpre-tiert. Ein Einsatz der beschriebenen Mensch-Roboter-Trainingsinteraktion im häuslichen Umfeld ist in Abb. 1dargestellt. Dabei steht NAO dem Trainierenden gegen-über. Das angestrebte Ziel der Einbringung eines The-rapieassistenten in Form eines robotischen Artefakts istdabei, die Trainingsleistung zu erhöhen und mit Spracheund angepasster Körperhaltung eine optimierte, sowiemotivierende Dialogführung während eines Trainings zu

erreichen. Als Teilziel soll in der vorliegenden Arbeituntersucht werden, ob es für einen kognitiven Training-sassistenten möglich ist, implizites Wissen automatisiert(ohne direkte Nutzereingabe) abzuleiten und anzuwen-den. Eine Substitution oder Verdrängung von Therapeu-tinnen und Therapeuten ist nicht Gegenstand des ge-wählten Ansatzes.

Abbildung 1. Mensch-Roboter-Trainingsinteraktion imhäuslichen Umfeld: NAO und Nutzerin stehen sichbei den Übungen gegenüber

DOI: 10.17185/duepublico/42386

2. RELEVANTE ARBEITEN UND HINTERGRUND

Im Laufe der letzten Jahre hat virtuelles physiothera-peutisches Training stark an Bedeutung gewonnen. Erstewissenschaftliche Berichte liegen bereits seit der 1990erJahre zugrunde (Hesse et al. [1994]). Die Möglichkeit,ein Training durch spielerische und interaktive Anreizezu motivieren, schafft eine erhöhte Trainingsbereitschaft(Schüler and Pälmke [2010]). Mit Systemen bzw. Spiele-konsolen wie der Nintendo Wii mit dem Balanceboard alsZusatzgerät oder der Microsoft Xbox in Verbindung mitdem Bewegungssensor Kinect stehen bereits spielerischeAnwendungen zur Verfügung, wodurch die Nutzerakti-vität im häuslichen Umfeld gesteigert wird (O’Donovanet al. [2012]). Die Bedeutung und Nutzung derartigerSysteme und Sensoren wird für rehabilitative und prä-ventive Maßnahmen in Zukunft deutlich wachsen (Vi-tale [2012]). Bereits die Reproduktion und Begleitungmenschlicher Bewegungsabläufe durch einen humanoi-den Roboter kann motivierende Anreize für ein erfolg-reiches Training schaffen (Franz et al. [2013], Yu et al.[2015]). Ein interaktives Mensch-Roboter-Training wur-de eingehend im Projekt THERAPIST (Calderita et al.[2013]) untersucht. In einer Studie, in der Kinder miteinem Roboter ein Bewegungstraining absolvieren, konn-te gezeigt werden, dass die Bereitschaft, und somit dieMotivation mit interaktiven Systemen zu trainieren, be-sonders hoch ist.

Abbildung 2. Vorgeschlagene Versorgungskette und Be-handlungsablauf mit Integration einer Mensch-Roboter-Trainingsinteraktion

In Abb. 2 ist ein schematischer Behandlungsablauf miteiner integrierten Mensch-Roboter-Trainingsinteraktiondargestellt. Nach einer körperlichen Einschränkung oderals Vorsorge kann ein Arzt eine Behandlung in Form vonphysiotherapeutischen Training verschreiben. Wird dasTraining durch eine Therapeutin oder einen Therapeutenbegleitet, so kann sie oder er jederzeit den Trainingsstandund den Bewegungsablauf des Trainierenden deuten undbei Bedarf Korrekturen und motivierende Anreize fürweitere Wiederholungen geben. Idealerweise erhält derPatient die Aufgabe, die Übungen zu Hause durch mehr-fache Ausübung zu intensivieren, um einen Trainingser-folg zu erreichen (Schüler and Pälmke [2010]). In die-sem Fall könnte die Motivation zur Ausübung des Be-wegungstrainings durch ein interaktives Trainingssystemgesteigert werden (Fasola and Matarić [2012], Gross et al.[2016]).

3. SYSTEMAUFBAU UND SYSTEMARCHITEKTUR

Der Systemaufbau besteht im Wesentlichen aus einem Ki-nect V2 Bewegungssensor (im Folgenden nur Kinect be-nannt) und dem 58cm großen Roboter NAO des französi-schen Herstellers Aldebaran als Verkörperung des inter-aktiven Trainingsassistenten. Über die Kinect in Kombi-nation mit der Software-Bibliothek Skeletal Tracking APIfor Kinect (Zhang [2012]) werden die 4D-Skelett-Daten(X-,Y-,Z-Position, Rotation) auf einem Windows basier-ten System aufgenommen und mittels der Software-Bibliothek PyKinect API (Nguyen et al. [2014]) verarbei-tet. Die Tiefenbildkamera der Kinect arbeitet nach demTime-of-Flight Prinzip und bietet eine Auflösung von512x484 Pixeln (Mutto et al. [2012]). Das Mikrofon-Arrayder Kinect wird für die Spracheingabe des Nutzers ver-wendet. Zur Spracherkennung wird die Google CloudSpeech Schnittstelle verwendet. Die Sprachverarbeitungerfolgt kommandobasiert. Das Trainingssystem ist in derLage, 4D-Skelett-Daten von 25 Gelenkpunkten mit bis zu60 Frames pro Sekunde aufzunehmen und zu analysie-ren.

NAO ist ein frei programmierbarer, humanoider Roboterund er verfügt über eine Kinematik mit 25 Freiheits-graden, zwei Kameras, vier Mikrofonen, zwei Infrarot-Sensoren, einem Beschleunigungssensor, neun taktilenSensoren sowie acht Berührungssensoren. Die Anbin-dung an NAO und die Synthese von Sprache und Gestikist über die Verwendung der Software-Bibliothek NAO-qi API des Herstellers Aldebaren (Nguyen et al. [2014])implementiert.

In Abb. 3 ist die Systemarchitektur des entwickelten Trai-ningssystems dargestellt. Während einer Trainingsphasewerden die erfassten Daten zunächst gefiltert, anschlie-ßend interpretiert und abgespeichert. Zur Interpretationder Daten wird auf formalisiertes physiotherapeutischesWissen (Kap. 6.4) zugegriffen, welches in Form einerWissensbasis repräsentiert ist. Gleichzeitig findet ein Ab-gleich mit bereits interpretierten Größen während einerTrainingssequenz statt, um den Fortschritt und die sichdabei verändernden Beobachtungsmerkmale (Kap. 6.2)detektieren zu können. Werden während des TrainingsAbweichungen der Bewegungssymmetrie, der erreichtenGelenkwinkelhöhe oder der Bewegungsgeschwindigkeiterkannt, so wird eine entsprechende korrigierende Inter-aktion mit dem Nutzer über NAO ausgelöst. Diese erfolgtin Form einer Äußerung. Bspw.: „Sie müssen die Kniestärker beugen!”.

4. EXPERTENBEFRAGUNG

In zwei Befragungen von drei Physiotherapeutinnen wur-den einerseits die Anforderungen und Akzeptanzfak-toren an ein derartiges Trainingssystem und anderer-seits die relevanten Beobachtungsmerkmale für die Be-wegungsanalyse erhoben. Eine Erweiterung der Befra-gungsbreite und eine höhere Repräsentation ist durch dieVergrößerung der Stichprobenanzahl für die Zukunft an-gestrebt. Für den aktuellen Stand sind aber die folgendenTrends anzunehmen.

Abbildung 3. Systemarchitektur und Interaktionsschleife des entwickelten Trainingssystems auf Basis einer Kinectund einem NAO-Roboter als primäre Ein- und Ausgabeeinheiten

4.1 Anforderungen und Akzeptanzfaktoren

Im Zuge eines Leitfadeninterviews mit drei Physiothera-peutinnen wurden Anforderungen und Akzeptanzfakto-ren an ein derartiges Trainingssystem erhoben. Auf dieFrage, was bei der Bewegungsanalyse aus therapeutischerSicht berücksichtigt werden muss, wurde generell eineAdaption an den jeweiligen Patiententyp angesprochen.Nach Aussage der Physiotherapeutinnen ist jeder Trai-ningsablauf aufgrund unterschiedlicher Körperstaturen,Trainingsständen bzw. Fitnesszuständen, sowie körperli-chen Einschränkungen individuell zu bewerten.

Des Weiteren wurde nach Akzeptanzfaktoren gefragt. Indiesem Fall ist die Akzeptanz aus therapeutischer Sichtgemeint, vor dem Hintergrund ein derartiges Trainings-system unter therapeutischer Anleitung in einen Behand-lungsablauf zu integrieren. Folgende Faktoren konntenermittelt werden:

• einfache Bedienung,• verständliche Bewegungsanalyse und• Systemverhalten nachvollziehbar.

Die erhobenen Aussagen zeigen, dass die Akzeptanz imAllgemeinen von der Kontrollierbarkeit des Systems ab-hängt. Aus therapeutischer Sicht wird gefordert, dassdas Systemverhalten jederzeit nachvollziehbar ist. Zu-dem wurden eine hohe Fehlertoleranz und eine präziseBewegungsanalyse gefordert.

4.2 Relevante Beobachtungsmerkmale für die Bewertungvon Bewegungsübungen

In einem zweiten Leitfadeninterview wurde gezielt nachden Beobachtungsmerkmalen für eine Bewertung vonBewegungsübungen gefragt. Diese wiederum veranlas-sen eine Therapeutin oder einen Therapeuten auf Grund-lage von medizinischem Fachwissen und Berufserfah-rung die Übung zu korrigieren, für eine weitere Wie-derholung zu motivieren oder im Falle einer Überan-strengung die Trainingssequenz zu pausieren. Währenddes Interviews wurden Übungen von einem Proband vor-gestellt und die Therapeutinnen befragt, worauf sie beider Ausübung achten. Dabei konnten folgende Beobach-tungsmerkmale identifiziert werden:

• Bewegungsgeschwindigkeit,• Pausenzeiten zwischen Wiederholungen,• Symmetrien der Gelenkwinkel (z.B. rechtes, linkes

Kniegelenk) sowie

• erreichte Gelenkwinkel (z.B. in Flexion, Extension).

Verändert sich ein Merkmal, um ein im Folgenden de-finiertes Maß, wird in diesem Fall eine situationsbezo-gene Interaktion initiiert. Dabei wird entsprechend deserkannten Merkmals die Übung durch den Therapieas-sistenten (NAO) in Form von Sprache und Gestik reflek-tiert.

5. TRAININGSABLAUF

Der Start einer Trainingseinheit wird durch ein im Sicht-bereich der Kinect bzw. im Trainingsbereich erkanntesSkelett-Datenmuster ausgelöst. Dazu fragt NAO zu Be-ginn einer neuen Trainingseinheit nach einer gewünsch-ten Trainingsübung oder schlägt bei ausbleibender Ein-gabe randomisiert eine von vier Übungen (Kniebeuge,Hampelmann, Ausfallschritt, Laufen auf der Stelle) vor.Wird eine Spracheingabe erkannt, bestätigt NAO die Ein-gabe, und eine Trainingssequenz beginnt. Anschließendfordert NAO den Trainierenden auf, die Übung mit zweivollständigen Bewegungsabläufen vorzumachen. Hierbeilernt das System die Parameter aus dem beobachtetenBewegungsablauf. Konnte das System während des Lern-prozesses die relevanten Beobachtungsmerkmale ermit-teln, fordert NAO den Trainierenden auf, mit der Übungweiter fortzufahren. Während der Durchführung wer-den nach einer vollständig durchgeführten Einzelbewe-gungssequenz bspw. bei einer Kniebeuge (Stand - Hocke- Stand) die aktuelle Ausführung mit den erlernten Refe-renzgrößen verglichen und mithilfe der Wissensbasis in-terpretiert. Konnte eine Abweichung der Ausführungsge-schwindigkeit oder Pausenzeiten im nicht tolerierbarenBereich festgestellt werden, gibt NAO Hinweise durcheine passende Sprachausgabe und eine vorprogrammier-te Gestik. Verlängern sich die Pausen- bzw. Standzeitenzwischen den Kniebeugen wird: „Du verlangsamst dieÜbung! Brauchst du eine Pause oder schaffst du nochweitere Wiederholungen?” ausgegeben. Konnte durch dieBewegungsanalyse eine Asymmetrie bspw. ein Ausfall-schritt bei Kniebeugen festgestellt werden, gibt NAOdie Information: „Dein Bewegungsablauf ist ungleich-mäßig!”. Nach fünf Übungswiederholungen weißt NAOauf die bereits durchgeführte Anzahl hin. Nach zehnWiederholungen zählt NAO laut mit. Die Wortwahl derSprachausgabe lässt bewusst mehrere Deutungen zu.NAO gibt dem Trainierenden lediglich Hinweise auf ei-ne Unkonzentriertheit, Auswirkungen von auftretendenSchmerzen oder einer Ermüdung. Eine Beendigung der

Trainingssequenz wird durch Spracheingabe oder Stop-pen der Bewegungsabläufe erkannt. Eine Trainingsein-heit kann mehrere Trainingssequenzen beinhalten.

6. METHODIK

Für die Zusammenführung von NAO, Kinect und den Al-gorithmen zur Bewegungsanalyse in einem System ist einSensor-Aktor-Framework entwickelt worden. Aufgrundder Kompatibilität der PyKinect2 API und der NAOqiAPI ist dieses Framework in Python abgebildet. Im Fol-genden werden die mathematischen Berechnungsschrittesowie das Analyseverfahren detailliert erläutert. Für einkontrollierbares Systemverhalten und somit einer mög-lichst hohen Akzeptanz (Kap. 4.1) wurde die Interakti-onsauslösung regelbasiert realisiert.

6.1 Gelenkwinkel und Gelenkwinkelgeschwindigkeit

In Abb. 4 sind die für die Gelenkwinkelberechnung not-wendigen Skelett-Messpunkte und Gelenkwinkel abge-bildet. Die Nullpunkte der X- und Y-Achsen sind in derBildmitte festgelegt. Die Z-Achse hat ihren Ursprung ander Kameralinse. Die Koordinaten werden in Millimeter-Werten durch die Skeletal Tracking API for Kinect bereit-gestellt. Insgesamt werden 13 der 25 möglichen Mes-spunkte für die Berechnung der Winkel des Schulter-,Ellenbogen-, Hüft- und Kniegelenks (jeweils links undrechts) benötigt. Bspw. kann aus den Punkten Schulter,Ellenbogen und Hand der Winkeleinschlag im Ellenbo-gengelenk berechnet werden.

Abbildung 4. Darstellung der relevanten Skelett-Messpunkte, berechneten Vektoren und gemessenenGelenkwinkeln

Für die Gelenkwinkelberechnung werden zunächst diedrei Vektorlängen −−→a11 ,

−−→a12 ,−−→a13 eines Dreiecks, in Abb.

4 dargestellt, bestimmt und anschließend der relevanteWinkel berechnet:

α1 = arccos( −−→a11

2 − −−→a122 − −−→a12

2

−2 · −−→a122 · −−→a13

2

). (1)

Die weiteren Winkel α2 − α8 berechnen sich analog zuder Formel 1. In Abb. 6 sind die nach Formel 1 berech-neten Gelenkwinkel bei der Ausübung von Kniebeugendargestellt. Der Vergleich des jeweiligen Gelenks zwi-schen der linken und rechten Körperhälfte zeigt einensymmetrischen Verlauf. Kommt es zu Abweichungen inder erreichten Gelenkwinkelhöhe, Symmetrie oder einerVeränderung der Bewegungsgeschwindigkeit gilt es diesezu erkennen, um dem Nutzer entsprechende Hilfestel-lung übermitteln zu können. Zur Glättung und Entfer-nung von Messrauschen wurde das Signal tiefpassgefil-tert. Die Filterung ist aufgrund von Messunsicherheitendes verwendeten Sensors notwendig. Dabei kann es vor-kommen, dass Messpunkte während der Ausübung vonBewegungen nicht exakt lokalisiert werden können. Diesmacht sich bei den Tiefendaten bemerkbar, welche bspw.zur Berechnung der Kniewinkel verwendet werden. Dieauftretenden Anomalien sind durch Schwankungen imSignalverlauf erkennbar und könnten durch eine ande-re Messtechnik verhindert werden. Besonders für die imnächsten Schritt beschriebene Detektion der Minima undMaxima (Peaks) können Signalschwankungen zu Proble-men führen. Eine Begradigung der Kuppen und Täler desSignals wurde durch Peak-Clipping erreicht.

Abbildung 5. Berechnung der Referenzwerte am Bsp. deslinken Knies

6.2 Detektion von Merkmalen

Bei der Durchführung des Bewegungstrainings findetin der Regel eine Gelenkwinkelschließung und -öffnungstatt. Zu Beginn des Trainings muss eine Gelenkwinkel-bewegung von min. 30° erreicht werden, um die Bewe-gungsanalyse auszulösen, z.B. 180° - 120° - 180°. Wird beizwei aufeinander folgenden Bewegungsabläufen dieserGrenzwert überschritten geht das System davon aus, dassmit dem Bewegungstraining begonnen wurde. Der Wertvon 30° konnte in der Befragung von drei Physiothe-rapeutinnen empirisch erhoben werden. Aus den erstenbeiden erkannten Bewegungsmustern werden die für dieweitere Analyse notwendigen Referenzgrößen für jedesGelenk gebildet. In Abb. 5 sind die für die Berechnungdes zeitlichen Referenzwertes tRef in Formel 2 und diedes Referenzwertes des Gelenkwinkels hRef in Formel 3relevanten Messwerte dargestellt.

Abbildung 6. Darstellung der Gelenkwinkel von Schulter, Ellenbogen, Hüfte und Knie über der Zeit bei der Ausübungvon Kniebeugen

tRef =t1 + t2

2. (2)

hRef =h1 + h2

2. (3)

In Abb. 7 ist ein Gelenkwinkelverlauf exemplarisch dar-gestellt. Die gestrichelte mittlere Linie berechnet sich ausdem Mittelwert zwischen den aus der Referenzgröße ge-fundenen Min- bzw. Max-Peaks und beschreibt den in-dividuell zu erreichenden Grenzwinkel. Für die Detek-tion der relevanten Peaks wird das gefilterte Signal um5% des Hubs nach oben und unten beschnitten. Die-ser Schritt ist notwendig, um sicherzustellen, dass dieMin- bzw. Max-Peaks eines Bewegungsablaufs möglichstam Anfang und Ende eines erreichten Gelenkeinschlagsgefunden werden. Die Suche nach den Peaks wird aus-gehend vom Schnittpunkt zwischen Grenzwert und Ge-lenkwinkel nach oben und unten durchgeführt. Aus derLokalisation der Peaks wird der für die Analyse aussage-kräftige Informationsgehalt abgeleitet. Der zeitliche Ab-stand zwischen zwei Max-Peaks beschreibt die Pausenzeitzwischen Übungswiederholungen. Die Zeit zwischen ei-nem Peak Max Endeünd Peak Min Start"gibt Aufschlussüber die Ausführungsgeschwindigkeit in jeweils eine Be-wegungsrichtung.

Abbildung 7. Darstellung der gemessenen Zeiten underreichten Abstände zwischen Gelenkwinkelöffnungund -schließung des rechten Knies bei Ausübungvon Kniebeugen zur Interpretation des Trainingszu-stands

6.3 Bewegungsanalyse durch Interpretation der detektiertenPeaks

Innerhalb der Bewegungsanalyse werden im Wesentli-chen die zeitlichen Abstände und erreichten Gelenkwin-

kel zwischen erkannten Peaks erhoben und mit den er-mittelten Referenzgrößen verglichen. Dabei werden nichtabsolute zeitliche Abstände ausgewertet, sondern dersich relativ zur Referenzgröße veränderte prozentualeFaktor. Ebenfalls wird auch nur die prozentuale Verände-rung der erreichten Werte von Gelenkwinkelöffnung und-schließung analysiert. In Abb. 7 sind die vom Systemgemessenen Parameter nach Erkennung der Max- undMin-Peaks des rechten Kniegelenks bei der Ausübungvon Kniebeugen dargestellt. Im Folgenden ist eine Ab-straktion der gemessenen Werte auf die therapeutischerhobenen Beobachtungsmerkmale angegeben:

• tn1: Dauer zwischen Übungswiederholung (Stand),• tn2: Ausführungsdauer in die Hocke (Flexion),• tn3: Dauer der Positionshaltung in Hockstellung,• tn4: Ausführungsdauer in den Stand (Extension),• tn5: Insgesamte Dauer der Bewegung,• hn1: Erreichter Gelenkwinkel bei Flexion und• hn2: Erreichter Gelenkwinkel bei Extension.

Für die Bewegungsanalyse hat es sich als ausreichenderwiesen, nur die zeitliche Dauer einer vollständigen Be-wegung zu bewerten, da dies mit den Meinungen derExpertinnen einhergeht. Somit werden nur die Informa-tionen aus den Zeiten tn1 und tn5 hinzuaddiert und damiteine vollständige Bewegung inklusive der Pausendaueranalysiert.

In Abb. 8 sind die berechneten zeitlichen und prozen-tualen Abweichungen zum Referenzwert tRef bei derAusübung von Kniebeugen dargestellt. Der ReferenzwerttRef adaptiert sich vor jedem Training. Während des Trai-nings wird jeweils die Abweichung nach einer durchge-führten Bewegung ermittelt und anhand der aufgestell-ten Regeln geprüft. Tritt eine Regel in Kraft wird eineentsprechende Interaktion von NAO ausgelöst. Gleicher-maßen werden auch die erreichten Gelenkwinkel aus-gewertet. Dabei wird der Betrag der beiden erreichtenGelenkwinkel gemittelt und die Abweichung zur Refe-renzgröße hRef überprüft.

Neben der Auswertung von Zeiten und Gelenkwinkel-werten wird auch die Symmetrie zwischen zwei sich ge-genüber (links, rechts) liegenden Gelenkwinkelbewegun-gen bewertet. Dabei wird mithilfe der Regelbasis über-prüft, ob zwei Peaks eine ähnliche Lokalisation aufwei-sen. Da eine symmetrische Bewegung nicht in jeder Trai-ningsübung gefordert ist, wird diese Regel nur bei ent-sprechenden Übungen angewendet. Insgesamt werdendie Gelenkwinkel von Schulter, Ellenbogen, Hüfte, Knie(links, rechts) nach dem beschriebenen Verfahren analy-siert. Eine Interaktion mit NAO wird ausgelöst, sobaldeine Regel gültig ist bzw. die prozentuale Abweichungden tolerierbaren Wert übersteigt.

6.4 Wissensbasis

Die Wissensbasis beinhaltet für die Gelenke Schulter,Ellenbogen, Hüfte und Knie (links, rechts) jeweils achtSchwellwerte (Regeln) t für das Auslösen einer Interakti-on aufgrund einer Veränderung der Bewegungsgeschwin-digkeit. Analog dazu sind auch acht Regeln für die In-terpretation der Gelenkwinkelhöhe h hinterlegt. Zudemsind vier Regeln für die Symmetriebewertung zwischen

Abbildung 8. Darstellung der berechneten zeitlichen undprozentualen Abweichungen δ zum Referenzwertbei 32 Übungswiederholungen bei der Ausübungvon Kniebeugen.

zwei Gelenkpaaren (links, rechts) vorhanden. Insgesamtbeinhaltet die Regelbasis 20 Regeln, welche für die In-terpretation von Abweichungen δ zu den ReferenzwertentRef und hRef herangezogen werden.

Für die Erhebung einer regelbasierten Wissensbasis wur-den bei sechs physiotherapeutisch begleiteten Trainings-einheiten das Verhalten der Physiotherapeutinnen undder Bewegungsablauf der trainierenden Personen (fünfmännlich, eine weiblich; Alter: 21 - 33 Jahre) beobachtetund analysiert. Dabei wurde ein Trainingsablauf mit denÜbungen Kniebeuge, Hampelmann, Ausfallschritt undLaufen auf der Stelle durchgeführt. Die Therapeutinnenhaben die Aufgabe bekommen, das Training nach denoben genannten Merkmalen zu bewerten und im Fall ei-ner Auffälligkeit den Trainierenden darauf hinzuweisen.Hierüber können die beobachteten Daten mit ground-truth Labeln versehen werden.

Um ein Maß zu definieren, ab wann eine prozentua-le Abweichung δ von tRef zu tn1 + tn5 oder hRef zumean(hn1,hn2) eine Ermüdung oder Unkonzentriertheitdarstellt, wurden die Zeitpunkte und Bewegungsabläu-fe der von den Therapeutinnen benannten Auffälligkei-ten dokumentiert und in die Kategorien [nicht erreichteGelenkwinkel], [Asymmetrische Bewegung] [zu schnel-le Bewegung] [zu langsame Bewegung] eingeordnet. An-schließend wurde über die Beispieldaten ein Mittelwertgebildet und die berechneten Schwellwerte als Regelndurch die Physiotherapeutinnen auf Plausibilität über-prüft. Bspw. ist in Abb. 8 nach 25 Bewegungsabläu-fen eine erhöhte Abweichung δ zum Referenzwert tReffestgestellt worden. Dieser Zustand konnte während desTrainings auch durch die Physiotherapeutinnen ermitteltwerden.

Kategorie Merkmal Regelerreichter Gelenkwinkel mean(hn1,hn2) δ > 29%zu schnelle Bewegung tn1 + tn5 δ > 22%

zu langsame Bewegung tn1 + tn5 δ > 30%Tabelle 1. Regeln rechtes Knie

7. ERGEBNISSE

Das Ziel implizites Wissen abzuleiten und für einen ko-gnitiven Trainingsassistenten anzuwenden konnte durchErhebung einer Wissensbasis erreicht werden. In Tab. 1sind die ermittelten Regeln, die bei Überschreitung eineInteraktion des NAOs auslösen, am Bsp. einer Analy-se des rechten Kniegelenks bei Kniebeugen aufgelistet.Insgesamt wurde nach dem dargelegten Verfahren eineWissensbasis (Kap. 6.4) für sämtliche gemessene Gelenk-winkel und Symmetrien aufgestellt.

Mit der in diesem Beitrag vorgestellten Methodik ist esmöglich Bewegungsübungen anzulernen und eine Re-flektion des Bewegungsablaufs in Form von Sprache undGestik von einem humanoiden Roboter zu erhalten. DasSystem ist dabei in der Lage sich an unterschiedliche Kör-perstaturen, körperliche Einschränkungen, Bewegungs-geschwindigkeit oder den Fitnesszustand zu adaptieren.

8. ZUSAMMENFASSUNG UND AUSBLICK

In diesem Beitrag wurde ein Mensch-Roboter-Trainings-system vorgestellt, das auf Grundlage formalisierten phy-siotherapeutischen Wissens in Form von abgeleiteten Re-geln mit einem Nutzer über Sprache und Bewegungen in-teragiert. Die aufgestellten Regeln konnten erfolgreich ineinem physiotherapeutisch begleiteten Training und ei-ner Bewegungsanalyse erhoben werden. Das Frameworkbesteht aus einem humanoiden Roboter (NAO) als in-teraktivem Trainer und einer Tiefenbildkamera (Kinect)als Bewegungssensor. Zu Beginn des Trainings wird derNutzer durch NAO aufgefordert, eine gewünschte Übungvorzumachen. In diesem Schritt lernt das System den Be-wegungsablauf kennen und adaptiert sich entsprechenddes Trainingsstands, der Körperstatur und Bewegungs-einschränkungen. Während des Trainings wird der Be-wegungsablauf überwacht. Tritt eine in der Regeldaten-bank enthaltene Regel in Kraft, z.B. bei einer asymme-trischen Bewegung, wird eine Interaktion ausgelöst undNAO weißt durch entsprechende Synthese über Spracheund Gestik den Nutzer auf Abweichungen im Trainings-ablauf mit dem Ziel einer Korrektur hin. Durch das regel-basierte Auslösen einer Interaktion wurde erreicht, dassNAO zu einem optimalen Zeitpunkt im ausgewähltenKontext den Nutzer über eine Ermüdung oder Unkon-zentriertheit informieren kann. Im Fall einer Ermüdungkann NAO den Trainierenden zu weiteren Wiederholun-gen animieren, um den Fitnesszustand zu verbessern. DieAusgabesynthese ist dabei bewusst mehrdeutig gewählt.Ein Hinweis kann gleichermaßen auf eine Überanstren-gung hinweisen und somit vor einer Verletzung schützen.Insgesamt kann durch das System das Training im häus-lichen Umfeld unterstützt werden und einem Trainieren-den die Möglichkeit gegeben werden, auch ohne einenTherapeut/in eine Reflektion der Bewegungsabläufe zuerhalten.

Im nächsten Schritt ist zu untersuchen, ob durch die dar-gelegte Trainingsinteraktion ein gesteigerter Trainingser-folg tatsächlich auch erreicht werden kann. Des Weite-ren ist zu ermitteln, welche Form der Ausgabesynthesebesonders motivierend auf einen Trainierenden wirkt.Dabei könnten der Trainingsablauf nach individuellenVorlieben, bspw. Abspielen von Musik oder eine gewähl-te Sprachsynthese anpassbar gestaltet werden. Auch dieAuswertung von Vitalparametern während des Trainingskönnte die Interaktion weiter optimieren. Ferner sol-len Referenzdaten von Therapeuten/innen während derSprechstunde in eine Datenbank aufgenommen werdenkönnen, welche dann mit den tatsächlichen Übungsda-ten verglichen werden. Letztlich muss die Genauigkeitder verwendeten Bewegungsmesstechnik im häuslichenUmfeld bezüglich ihrer Genauigkeit und Verlässlichkeitverifiziert werden. Dies kann durch direkte Vergleichemit Hochpräzisions-Tracking-Systemen geschehen.

DANKSAGUNG

Die Arbeiten in diesem Projekt wurden durch die inter-ne Forschungsförderung Jade2Pro der Jade Hochschulefinanziert. Für ihre fachliche Unterstützung möchten dieAutoren hiermit Jannik Fleßner, Johannes Hurka, AnkeImholze, Britta Krone und Verena Müller danken.

LITERATUR

Luis Vicente Calderita, Pablo Bustos, C Suárez Mejías,Felipe Fernández, and Antonio Bandera. Therapist:towards an autonomous socially interactive robot formotor and neurorehabilitation therapies for children.In Proceedings of the 7th International Conference onPervasive Computing Technologies for Healthcare, pa-ges 374–377. ICST (Institute for Computer Sciences,Social-Informatics and Telecommunications Enginee-ring), 2013.

Juan Fasola and Maja J Matarić. Using socially assistivehuman–robot interaction to motivate physical exercisefor older adults. Proceedings of the IEEE, 100(8):2512–2526, 2012.

Sven Franz, Ralph Nolte-Holube, and Frank Wallhoff.Nafome: Nao follows me-tracking, reproduction andsimulation of human motion. Proceedings of the 4thTechnically Assisted Rehabilitation Conference, 2013.

Horst-Michael Gross, Andrea Scheidig, Klaus Debes,Erik Einhorn, Markus Eisenbach, Steffen Mueller, Tho-mas Schmiedel, Thanh Q Trinh, Christoph Weinrich,Tim Wengefeld, et al. Roreas: robot coach for wal-king and orientation training in clinical post-strokerehabilitation-prototype implementation and evaluati-on in field trials. Autonomous Robots, pages 1–20, 2016.

Stefan Hesse, Christine Bertelt, Antje Schaffrin, MatijaMalezic, and Karl-Heinz Mauritz. Restoration of gaitin nonambulatory hemiparetic patients by treadmilltraining with partial body-weight support. Archives ofphysical medicine and rehabilitation, 75(10):1087–1093,1994.

Carlo Dal Mutto, Pietro Zanuttigh, and Guido M Corte-lazzo. Time-of-flight cameras and microsoft kinect (TM).Springer Publishing Company, Incorporated, 2012.

Anh Tu Nguyen, Yu Zhu, et al. Hand detecting and posi-tioning based on depth image of kinect sensor. Interna-

tional Journal of Information and Electronics Engineering,4(3):176, 2014.

C O’Donovan, E Hirsch, E Holohan, I McBride, R Mc-Manus, and J Hussey. Energy expended playing xboxkinectTM and wiiTM games: a preliminary study com-paring single and multiplayer modes. Physiotherapy,98(3):224–229, 2012.

Thomas Schüler and Marion Pälmke. Innovation virtuellerehabilitation–pt@ pc. physiopraxis, 8(01):22–25, 2010.

Ki-sung Suh. Using Nao: Introduction to Interactive Huma-noid Robots. Aldebaran Robotics, 2013.

Pasquale Vitale. Evaluation and measurement of kinectmovement detection in physical therapy. Master’s the-sis, University of Skövde, 2012.

Haoyong Yu, Sunan Huang, Gong Chen, Yongping Pan,and Zhao Guo. Human–robot interaction control ofrehabilitation robots with series elastic actuators. IEEETransactions on Robotics, 31(5):1089–1100, 2015.

Zhengyou Zhang. Microsoft kinect sensor and its effect.IEEE multimedia, 19(2):4–10, 2012.