Leitfaden zum Motion Capturing - · PDF fileLeitfaden zum Motion Capturing - 1. Workflow Seite...

Leitfaden zum Motion Capturing Inhaltsübersicht

1. Workflow........................................................................................................................ 1

2. User-Interface von Vicon iQ ........................................................................................... 3

3. Aufbau und Kalibrierung des Vicon-Systems ................................................................. 4

3.1 Kameras und Setup der Hardware............................................................................................ 4 3.2 Einrichten der Datenbank.......................................................................................................... 8 3.3 Kamera-Kalibrierung.................................................................................................................. 9 3.4 Kalibrierung des Capture Volume ........................................................................................... 11

4. Marker Placement.........................................................................................................13

5. Range of Motion ...........................................................................................................15

6. Labeling ........................................................................................................................18

7. Subjekt-Kalibrierung......................................................................................................19

8. Capturing der Bewegungen ..........................................................................................20

9. Post-Processing mit Vicon iQ Batch-Pipeline ................................................................21

10. Erstellen eines Skeletons in Maya ..............................................................................25

11. Data-Processing mit MotionBuilder .............................................................................30

11.1 User-Interface........................................................................................................................ 30 11.2 Mappen der Bewegungsdaten auf den Actor........................................................................ 31 11.2 Skeleton charakterisieren und mit Actor verbinden............................................................... 38 11.4 Plotting und Weiterverwendung ............................................................................................ 41 11.5 Fehlerkorrektur ...................................................................................................................... 42 11.6 Loops herstellen .................................................................................................................... 43 11.7 Kombination von Motion Tracks (Blending) .......................................................................... 46 11.8 Tipps und Tricks .................................................................................................................... 48

Leitfaden zum Motion Capturing - 1. Workflow

Seite 1 von 48

1. Workflow Wie bereits im theoretischen Teil vorgestellt, sieht der Workflow einer MoCap-Produktion wie folgt aus:

Leitfaden zum Motion Capturing - 1. Workflow

Seite 2 von 48

Technischer Workflow

Nachstehend folgt eine detaillierte Übersicht, die nur die technischen Ebenen betrachtet:

Leitfaden zum Motion Capturing - 2. User-Interface von Vicon iQ

Seite 3 von 48

2. User-Interface von Vicon iQ

(1) Title Bar (2) Menu Bar

(3) Operating Mode Diese Leiste ermöglicht die Wahl der Operating Mode: Data Management, Setup, Calibrate, Capture, Post Processing, Modeling.

(4) Activity Bars Diese Leiste enthält verschiedene Tabs, die Tools und Funktionen beinhalten, um spezifische Aufgaben mit Vicon iQ auszuführen.

(5) Control Bars Die Tabs am linken Fensterrand stellen Optionen bereit, mit denen die Datendarstellung im Workspace angepasst werden kann.

(6) Real Time Engine Control Bar Optionen zur Steuerung der Realtime-Engine Tarsus.

(7) View Pane Menu Bar Verschiedene Menüs, bei denen der Ansichtstyp für den Workspace gewählt werden kann. Der Inhalt dieser Leiste hängt ab von der Operating Mode.

(8) View Pane Toolbar Diese Leiste enthält Buttons, um die Ansichtstypen zu verwalten.

(9) Live 3D Workspace Dieses Fenster zeigt die aufgenommenen Daten in der 3D-Perspektive.

(10) Log Window Dieser Bereich zeigt die aktuellen Aktivitäten von Vicon iQ auf.

Leitfaden zum Motion Capturing - 3. Aufbau und Kalibrierung des Vicon-Systems

Seite 4 von 48

3. Aufbau und Kalibrierung des Vicon-Systems

Für eine detaillierte Beschreibung zu den Geräten schauen Sie bitte in den theoretischen Teil, nachstehend ein Überblick zum System:

Abbildung 1 - Vicon MX Architecture mit 6 Kameras

3.1 Kameras und Setup der Hardware

Ziel des Kamera-Setups ist, dass alle Kameras die Marker im Capture Volume1 sehen, damit saubere Aufnahmen2 erstellt werden können. Der Aufbau des Vicon-Systems (Positionieren der Stative, Aufsetzen der Kameras, Setup des Laptops und der MX Ultranet Unit, Verbinden aller Komponenten, Vorbereiten des Performers3, Aktivierung der Software) benötigt ungefähr zwei Stunden. Im Folgenden ist eine Anleitung gegeben, die die notwendigen Einstellungen und den Ablauf chronologisch aufzeigt und mit Fotos dokumentiert. Sie ermöglicht Ihnen, das System selbstständig aufzubauen: 1. Wir beginnen damit, alle Stative aus den Verpackungen zu nehmen und im Kreis aufzu-

stellen, bei möglichst gleichem Abstand zueinander. Die Stative so weit wie möglich vom Kreismittelpunkt entfernt positionieren, damit das Capture Volume voll ausgeschöpft wird.

1 Capture Volume bezeichnet den Raum im Studio, in dem die Marker von den Kameras gesehen und die Bewegungen des

Performers aufgenommen werden können. 2

MoCap-Aufnahmen werden im Englischen als Takes bezeichnet. 3 Die Person, deren Bewegungen aufgezeichnet werden, wird Performer genannt.


Seite 5 von 48

2. Die Kamerahalter aus den Stativköpfen entnehmen (kleinen Hebel gedrückt halten und den großen herausklappen) und an die Kameras unten heranschrauben.

3. Danach die Kameras in die Kamerahalterung des Stativs einsetzen, dazu vorne beim

Stativ aufsetzen und nach hinten kippen (Kameras bei offener Hebelstellung einklinken).

4. Nehmen Sie die Kameras und stellen Sie die Kamerablende auf einen Blendenbereich von etwa 2,8 mm.

5. Den Front-Aufsatz zur Kamera (sogenannter Infrared Strobe) mit etwas Abstand vor der

Linse justieren (die Linse sollte in etwa bündig mit dem schwarzen Scheibenabschluss des Strobe-Aufsatzes sein):


Seite 6 von 48

6. Einstecken der Kabel in die Kameras sowie deren Kabelenden in das MX Ultranet, dabei ist die Reihenfolge beliebig:

7. Als nächstes die Beine der Stative voll ausfahren. Es sollte versucht werden, die Kameras

so hoch wie möglich zu positionieren, damit das Capture Volume voll ausgeschöpft wird. Bitte auch die Kurbel für das Ausfahren des Stativ-Halses benutzen, dazu den Ring „Push“ drücken, Kurbel ausklappen und drehen. Hinweis: Kamera-Höhen müssen nicht exakt übereinstimmen.

8. Host Computer und MX Ultranet nebeneinander aufbauen und via LAN-Kabel verbinden.

Ebenfalls die Netzstecker für die Stromzufuhr verbinden (optional kann man eine externe Festplatte für die MoCap-Daten an den PC anschließen):


Seite 7 von 48

9. Computer und MX Ultranet anschalten ("Power"-Schalter befindet sich auf der Rückseite). Nachdem der Computer bereit ist, muss ihm eine feste IP-Adresse zugewiesen werden. Dazu in der >Systemsteuerung >Netzwerkverbindungen wählen. Dann unter LAN-Verbindung per rechter Maustaste die Eigenschaften wählen. Dort bei Internetprotokoll (TCP/IP) auf Eigenschaften klicken und unter "Folgende IP-Adresse verwenden" eingeben: IP-Adresse 192.168.10.1 - Subnetzmaske: 255.255.255 .0 Danach auf OK klicken und die Einstellungen schließen.

Hinweis: MX Ultranet fungiert als Master, nimmt alle Daten der Kameras (Slaves) auf, synchronisiert sie und gibt sie an den Computer weiter. Nach der Verbindung des MX Ultranet mit den Kameras und dem Computer werden diese Einstellungen automatisch vorgenommen.

10. Das System ist nun aktiv und die LEDs der Kameras sollten grün aufleuchten.

Vicon-System komplett aufgebaut und einsatzbereit


Seite 8 von 48

3.2 Einrichten der Datenbank

1. Vor dem Programmstart von Vicon iQ ist ein Projektordner auf der Festplatte zu erstellen, in dem die MoCap-Daten gespeichert werden können.

2. Bevor die Software Vicon iQ gestartet werden kann, muss der USB-Dongle (Kopierschutz)

in einen USB-Port des Computers eingesteckt werden. Nach der Initialisierung kann Vicon iQ aufgerufen werden.

3. Nachdem das Programm vollständig hochgefahren ist, folgt als erstes das Setup der

Datenbank:

1. Im Menü >Eclipse >New Database wählen. Dort unter "Location" den Pfad zum zuvor

erstellten Ordner auf der Festplatte angeben, bei "Name" eine Bezeichnung für die Datenbank vergeben und optional eine Beschreibung in "Description" hinterlassen. Mit dem "Animation Template.eni" aktiviert, bitte den Button "Create" klicken. Anschließend im sich neu öffnenden Dialogfenster "Open" wählen.

2. Als nächstes auf das in der oberen Menüleiste klicken. Eine Zeile mit "Project 1" wird erstellt, hier bitte den Projektnamen vergeben (so z. B. "capture_myName").

3. Nun auf klicken und eine Zeile mit "Capture Day 1" wird erstellt. Eine Umbenennung in z. B. "2007-03-31" ist möglich. Hinweis: Das Format "year-month-day" sollte aufgrund von Sortierungskriterien eingehalten werden.

4. Auf klicken und eine Zeile mit "Session 1" wird erstellt. Hier kann gegebenenfalls umbenannt werden.

Hinweis: Das Session-Verzeichnis beinhaltet Kalibrierungsdateien und alle Dateien, die während der Session erstellt werden.

5. Abschließend sollte folgende Struktur zu sehen sein, damit ist das Datenbank-Setup

abgeschlossen:


Seite 9 von 48

3.3 Kamera-Kalibrierung

1. Drei Marker in die Mitte des Capture-Volumes legen:

2. Ein Marker je Kamera etwa 3 Schritte (zur Kreismitte) weg von der jeweiligen Kamera auf

dem Boden positionieren:

3. Nun liegen 3 Marker in der Mitte und 6 Marker kreisförmig um das Capture Volume.

1. Die „Tarsus“ Real Time Engine starten, dazu rechts unten im Bildschirm das Connect-Icon

betätigen. Danach kann Tarsus beendet werden, wenn erneut auf dieses Icon, das

nun so aussieht , geklickt wird. 2. Das Command-Line-Fenster öffnet sich und zeigt das Processing ("Starting Tracker…")

an. In Vicons 3D Workspace werden nun die Marker sichtbar. 3. Das Processing im Command-Line-Fenster stellt die Real Time Engine dar, daher das

Fenster bitte nicht schließen, sondern nur minimieren, damit es im Hintergrund aktiv bleibt.

4. Hinweis: Falls eine Kamera in Vicon iQ nicht angezeigt wird oder die LED einer Kamera

gelb leuchtet, ist diese Kamera nicht aktiv. Dann bitte sämtliche Kabel-Verbindungen sowie die Real-Time-Engine überprüfen.


Seite 10 von 48

5. Den Tab "Camera" aktivieren, dort kann man durch alle 6 Kameras durchschalten und

sich die einzelnen Bilder anzeigen lassen. 6. Als nächstes den Tab "Cameras" (auf der rechten Fensterseite) wählen. Dort können

"Strobe Intensity" und "Camera Threshold" für jede Kamera separat eingestellt werden. Folgene Ersteinstellung wählen: Strobe: 100, Threshold: 20, Gain: 1, Quality: 20. Bitte versuchen, Störungen der Umgebung zu unterdrücken bzw. zu beseitigen, indem die vorgenannten Parameter verändert werden.

Strobe Intensity stellt die Lichtintensität ein. Das Erhöhen der Intensität stoppt das Flackern der

Marker. Ein Vermindern kann zum Reflektieren von Licht und sogenannten Ghost Markern führen.

Threshold ist ein Grenzwert, der die Marker vom Hintergrund hervorhebt. Pixel, die die Kamera-

Threshold übersteigen, werden isoliert. Sollten Marker unsichtbar sein oder flackern, so muss der

Threshold erhöht werden.

Gain (Verstärkung) gibt an, wie stark die Videosignale verstärkt werden.

Circle Quality bestimmt, welche Gruppen von Pixeln in kreisartiger Form als Marker identifiziert

werden. Circle Quality 100 steht für perfekte Kreise, niedrigere Werte erlauben Abweichungen.4

Ausrichten der Kameras 1. Im Workspace eine Kamera-Nummer wählen (die LED der aktiven Kamera leuchtet dann

zur besseren Erkennung blau). 2. Die Kameras auf den Stativen so ausrichten/drehen/neigen, dass sich die in der Mitte des

Capture Volumes befindlichen 3 Marker annähernd in der Mitte des Workspaces (einzelne Kameraansicht in Vicon iQ) befinden.

3. Darüber hinaus müssen für jede Kamera alle das Capture Volume abgrenzenden 6

Marker sichtbar sein. Falls nicht, sollte die Position des jeweiligen Markers geändert werden (Verschieben zur Kreismitte).

4. Die vorigen Schritte sind für jede der 6 Kameras zu wiederholen. 5. Abschließend bei den Kameras auf "All" klicken, um alle Bilder der Kameras

nebeneinander angeordnet zu sehen und nochmals zu kontrollieren, ob je Kamera 6 Marker angezeigt werden.

6. Danach bei "Manage Camera Settings" (rechts oben im Bildschirm) auf "Save" klicken

und die Kamera-Settings in einer Datei (im hsf-Format5) speichern

4 Informationen entnommen aus: http://atec.utdallas.edu/~midori/Handouts/mocap_calibration.htm (Zugriff vom 2007-05-27). 5 Hardware Settings File, Konfigurationseinstellung für die Vicon MX Kameras.


Seite 11 von 48

Capture Volume markieren 1. Da die Kameras nun kalibriert sind, können alle Marker auf dem Boden entfernt werden (6

Marker im Kreis und 3 Marker in der Mitte). An den Stellen der äußeren Marker sollte Klebeband befestigt werden, da diese die Grenzen des Capture Volumes darstellen. Somit weiß der Performer bis zu welchen Bereichen er sich bewegen darf.

Kamerafokus Die Marker müssen klar und deutlich auf den Bildern der Vicon iQ Software zu sehen sein. Falls dies nicht der Fall ist, kann versucht werden, den vorderen Fokus (Ringaufsatz) oder den hinteren Fokus (Position der Linse zum Kamerasensor verändern) einzustellen. Weitere Informationen hierzu bitte direkt aus der Bedienungsanleitung Vicon MX Hardware System Reference Revision 1.3 (Seiten 112 ff.) entnehmen.

3.4 Kalibrierung des Capture Volume

Ein Wand (engl. Stab) wird benutzt, um die Kameras zu kalibrieren, das heißt das System ermittelt aufgrund der gewonnenen Daten, wo welche Kamera positioniert ist und welche Orientierung sie im globalen Koordinatensystem hat. Dadurch ist es später möglich, die Position eines Markers zu ermitteln, sobald er von 2 Kameras erfasst wird. Ein L-Frame (engl. L-Rahmen) dient dazu, den Koordinatenursprung für das Capture Volume und dessen Achsen zu setzen. Durch den L-Frame wird die Position und die Orientierung des Bodens getrackt.

1. Bei "1. Calibrate Cameras" den gewählten Kalibrierer einstellen (wir nutzen den

"240_mm_Wand"). Anschließend "Start Wand Wave" betätigen. 2. Prozess startet und es wird "Frames Recorded: ..." angezeigt.


Seite 12 von 48

3. Nun muss eine Person mit dem Kalibrierer (24 mm) im Kreis des Capture Volumes

herumlaufen und den Kalibrierer in einer kreisenden Bewegung schwingen (bevorzugt als kreisende Acht), damit wird das Capture Volume "ausgewinkt". Metapher: Wände des Capture Volume streichen.

4. Die Aufzeichnungen in Vicon iQ sehen je Kamera wie folgt aus:

5. Den Kreis mindestens einmal durchlaufen. Es sollten mehr als 10.000 Frames

aufgezeichnet worden sein.

6. Danach "Stop Wand Wave" klicken und die Berechnungen der Software abwarten. Dabei sollte der Status für jede Kamera am Ende der "Performing Calibration" das Wort "Awesome" (ausgezeichnet) anzeigen.

7. Nun zum Tab "Live 3D Workspace" wechseln. Dort erkennt man, dass die Kameras

schräg positioniert sind. Daher wird es notwendig, das System mit dem L-Frame (siehe folgendes Foto) auszurichten. Dazu bitte den L-Frame in die Mitte des Capture-Volumes legen.

Leitfaden zum Motion Capturing - 4. Marker Placement

Seite 13 von 48

8. Nun in Vicon iQ "LFrame: Ergo_14mm_LFrame" in der Pulldown-Leiste auswählen und

dann den Button "Track L-Frame" auf der rechten Fensterseite drücken. Anschließend den Button "Set Origin" betätigen und das System ist ausgerichtet. Die Kamera-Einstellungen an dieser Stelle speichern.

9. Da die Kalibrierung beendet ist, kann mit den Aufnahmen begonnen werden. Ab jetzt

dürfen die Stative nicht mehr berührt oder verändert werden, ansonsten muss die Kalibrierung erneut vorgenommen werden.

4. Marker Placement Die Person, deren Bewegungen aufgezeichnet werden, wird im Englischen als „Trial Subject" aber auch als „Performer“ bezeichnet. Wir verwenden wie schon erwähnt den Begriff „Performer“. Es ist möglich, jedes beliebige Objekt (so auch Tiere und Maschinen) zu capturen. Der Einfachheit halber und da am häufigsten benutzt, orientieren wir uns in diesem Leitfaden jedoch an einem menschlichen Objekt. Die Marker sind entsprechend der folgenden Abbildungen auf den schwarzen, nicht-reflektierenden Anzug des Performers zu setzen:

Leitfaden zum Motion Capturing - 4. Marker Placement

Seite 14 von 48

Leitfaden zum Motion Capturing - 5. Range of Motion

Seite 15 von 48

Klett-Klebeband wird oft benötigt, um die Marker zu befestigen.

Sobald der Performer mit den Markern ausgestattet ist, ist es ratsam, Referenzfotos von ihm aufzunehmen. Diese zusätzliche Hilfe erleichtert das spätere Post-Processing in MotionBuilder außerordentlich.

5. Range of Motion Eine Range-of-Motion-Aufnahme wird benutzt, um die Proportionen des generischen Vicon Skeleton Templates (VST) entsprechend der physischen Dimensionen des Performers zu verändern und die Markerpositionen anzupassen.

1. Performer stellt sich in T-Pose-Stellung in das Zentrum des Capture-Volumes:

Hinweise zur T-Pose: Der Performer sollte versuchen, in einer Haltung zu stehen, die so symmetrisch wie möglich ist. Die Füße des Performers sollten entsprechend Schulterbreite auseinanderstehen, und zwar parallel nach vorne zeigend. Der Performer sollte seine Knie und Ellbogen leicht einbeugen. 2. Klicke auf den Tab "Live 3D Workspace" und wähle bei "2. Provide Trial Information"

Folgendes: "Name: rom001" und "Type: R.O.M.".


Seite 16 von 48

3. Der Performer dreht sich vor dem Start der Aufnahme in Richtung positiver Z-Achse, siehe 3D Workspace in Vicon iQ.

4. Mit Betätigen des Buttons "Start", der sich bei "4. Capture !" befindet, wird die Aufnahme

gestartet. 5. Für die Range of Motion ist eine lange Aufnahme nötig, die alle Marker deutlich zeigt und

in der der Performer unterschiedliche Bewegungen ausführt (Beine abspreizen, Arme rotieren, Hüfte rotieren, Hinhocken, etc.).

6. Nachdem der Performer diese Bewegungen über mehr als 10.000 Frames ausgeführt hat,

muss er in die T-Pose zurückkehren. 7. Dann ist die Aufnahme mit dem Button "Stop" zu beenden. Es erscheint ein Dialogfenster

mit "Enter a Threshold Table filename", hier einfach auf OK klicken. Dann bei "Enter a Calibration filename" ebenfalls OK betätigen.

8. Anschließend ist unter "5. Review Last Capture" der Button "Load Into Post" zu betätigen. Rekonstruktion der Bewegungsdaten aus den gewonnene n 2D-Kameradaten Nun erfolgt die Bereinigung des Range-of-Motion-Aufnahme. Hierbei werden Methoden zur Beseitigung des Rauschens (Noise) angewendet, um die Marker vom Hintergrund zu separieren, die Koordinaten der Marker werden ermittelt und Bewegungsbahnen jedes einzelnen Markers im dreidimensionalen globalen Koordinatensystem errechnet.6

1. Gehe zum Tab „Pipeline“ und wähle dort aus dem Pulldown-Menü „AutoLabelROM“. 2. Die Operation „Circle Fit, Reconstruct, Trajectory Fit Frame Range“ muss als erstes

ausgeführt werden.

Circle Fit ist der Prozess, bei dem Algorithmen angewendet werden, um für den Marker eine

zentrale Koordinate zu errechnen.7

Beim Reconstruct werden aus 2D-Daten 3D-Daten erzeugt und die Bewegungsbahnen der Marker

im 3D Raum bestimmt.

Trajectory Fit Frame Range passt die Bewegungsbahnen der Marker der Frame-Rate an.

3. Um eine bestmögliche 3D-Rekonstruktion zu erzielen, sind nachfolgende geänderte

Einstellungen notwendig. Dazu Doppel-Mausklick auf die Operation „Circle Fit, Reconstruct, Trajectory Fit Frame Range“ und die Standard-Werte wie nachstehend beschrieben editieren:

6 Vgl. University of Texas and Dallas: atec.utdallas.edu/~midori/Handouts/mocap_calibration.htm (Zugriff vom 2007-05-27). 7 Vgl. Vicon Product Glossary for Vicon MX and V-series systems, 2006.


Seite 17 von 48

Veränderte Werte in Operation „Circle Fit, Reconstru ct, Trajectory Fit Frame Range“:

1. „Minimum cameras to start trajectory“ Default: 3 - Neuer Wert: 2

Die Bewegungsbahn eines Markers muss von mindestens 2 Kameras gesehen werden, um

erfasst und rekonstruiert zu werden.

2. „Minimum cameras to reconstruct“ Default: 3 - Neuer Wert: 2

Ein Marker muss von mindestens 2 Kameras gesehen werden, damit seine Position erfasst und

rekonstruiert wird.

3. „Reconstruction Volume Min. / Max.” Default: 4000 - Neuer Wert: 10.000

Die minimalen/maximalen Dimensionen des Rekonstruktionsvolumens (Einheit in Millimeter).

Sämtliche Daten außerhalb dieses Volumens werden bei der Rekonstruktion ignoriert. Neuen

Werte definieren ein Volumen von 10 m x 10 m x 7 m (positive Achsen) bzw. -10 m x -10 m x

-0,4 m (in den negativen Bereich).

4. „Circle fitting error“ Default: 2 - Neuer Wert: 1,5

Gibt an, wie groß die Abweichung beim Circle Fit (Ermittlung der zentralen Koordinate des

Markers) sein dürfen.

5. „Minimum/Maximum circle diameter“ Default: 0 und 100 - Neue Werte: 1 und 30

Werte für den Diameter (Durchmesser des Kreises), bei dem der Marker im 3D Workspace

visualisiert wird (Einheit in Millimeter).

6. „Minimum reconstruction separation (mm)“ Default: 0 - Neuer Wert: 25

Verwirft alle eventuellen Markern, deren Werte am Ende des Processings als unwahrscheinlich

gelten. Diese Marker stehen dann nicht mehr für andere Rekonstruktionsoptionen zur Verfügung.

Hinweis: Alle Parameter können in der Vicon iQ 2.5 System Reference Volume I nachgelesen

werden, siehe dort im Kapitel 7-28 (Seiten 282 ff.).

4. Dialog mittels OK-Button schließen, rechter Mausklick erneut auf die Operation und „Run Selected Op“ auswählen.

Leitfaden zum Motion Capturing - 6. Labeling

Seite 18 von 48

5. Als nächstes den Tab "Subjects" (auf der rechten Bildschirmseite) wählen und dort auf "Create Vicon Skeleton Templates (VST)" klicken.

6. Wähle nun in der Pulldown-Leiste "Template: 'iQ_ProductionExample_V5' " und vergib bei

"Subject Name:“ einen Namen. 7. Klicke dann auf „3D Workspace“, um die 3D-Rekonstruktion anzusehen.

6. Labeling Beim Labeling (engl. Beschriftung, Kennzeichnung) werden die Marker im 3D-Workspace den vordefinierten Markern des Vicon Skeleton Templates (VST) zugeordnet. Jeder Marker ist Teil des Körpers und erhält durch das Labeling seine eigene Identität.

T-Pose wählen 1. Eine Stellung des Performers im 3D-Workspace suchen (mit Hilfe der Time Bar), in der er

sich in der T-Pose befindet. Dann bei "Events" (unten rechts im Bildschirm) auf "G" (General Event) drücken, danach wird "T" (T-Pose) aktivierbar, auch hierauf klicken.8

2. Tab Labeling auswählen, darin "Modes: Sequence", "Rules: Whole", "Tools: Auto Vel.

Label" wählen. 3. Dem Skeleton die Label-Punkte (beginnend mit „ROOT“) zuordnen. Vergleiche hierzu die

Bezeichnungen und Abkürzungen mit den Abbildungen aus Kapitel 4. 4. Zum Labeln jeweils eine Markerbezeichnung rechts auswählen und im 3D Workspace auf

den entsprechenden weißen Marker klicken. 5. Nach und nach entsteht ein farbiges Skelett, dabei stehen die roten Verbindungen für die

linke Skeletonseite und grüne für die rechte Seite (Orientierung gemäß Ich-Perspektive des Skeletons).

6. Jetzt zum Tab „Pipeline“ wechseln und in der Pull-Down-Leiste „Autolabel Range Of

Motion“ wählen. 7. Rechter Mausklick auf die Operation „Autolabel Range Of Motion“ und „Run Selected

OP“.

Autolabel Range Of Motion: Da das gelabelte Skeleton beim Abspielen der Animation oft aufgrund

fehlender Marker nicht vollständig ist und da beim erneuten Erscheinen dieser Marker diese von

Vicon iQ als neu eingestuft und somit ungelabelt sind, wird diese Operation notwendig, die

automatisch versucht, die wieder auftretenden Marker erneut zuzuordnen, und zwar auf Grundlage

des Labelings vom ersten Frame.

8 Alle Events können in der Vicon iQ 2.5 System Reference Volume I auf Seiten 291 ff. nachgelesen werden.

Leitfaden zum Motion Capturing - 7. Subjekt-Kalibrierung

Seite 19 von 48

8. Danach gleichermaßen den „Trajecotry Labeler“ ausführen und dann den „Kinematic Fit“.

Trajectory Labeler: Labelt die Marker automatisch.

Kinematic Fit: Rekonstruktion der Marker, indem sich für die Markerpositionen an einem Skeleton

Template orientiert wird.

Hinweis: Es kann geprüft werden, ob die Daten der Range of Motion durchgängig sind oder Lücken aufweisen, indem der Tab „Continuity Chart“ angeklickt wird. Schwarze Bereiche stehen für Lücken.

Durchgehende Bewegungsdaten je Marker, ohne Lücken.

7. Subjekt-Kalibrierung Die Subjekt-Kalibrierung erstellt ein Skeleton, das den physischen Dimensionen des Performers entspricht (VSK), indem es die Proportionen des generischen Modells (VST) verändert. Mit dem fertigen VSK lassen sich alle Operationen in der Pipeline automatisch ausführen. 1. Zum Tab "Subjects" wechseln (an der rechte Bildschirmseite). Dort bei "Calibration" auf

"Calibrate Subject" klicken, dann starten Model Calibration und Collecting Statistics. Durch die Kalibrierung werden nicht-gelabelte unbekannte Marker beim Export der Bewegungsdaten nicht berücksichtigt.

2. In der Konsole werden verschiedene Daten angezeigt, wichtig ist hierbei die Fehlerrate,

welche angibt, wie groß die Abweichung der Marker zueinander ist. Diese Fehlerrate („Error“) sollte unter 15 mm liegen. Ist dies nicht der Fall, so ist die Wiederholung der Kalibrierung ab Kapitel 5 ratsam.

Leitfaden zum Motion Capturing - 8. Capturing der Bewegungen

Seite 20 von 48

3. Nach dem Ende des Kalibrierungsprozesses (siehe Konsole: „Subject Calibration

Succeeded“) kann das Vicon Skeleton als VSK-Datei gespeichert werden, dazu den Button „Export Vicon Skeleton (VSK)“ nutzen.

Subjekt aktivieren 1. Zum Tab „Capture“ wechseln und rechts das Registerblatt „Active Objects“ wählen. 2. Bei „Available Objects (check box to make active)“ einen Haken beim kalibrierten Objekt

setzen, um das Skelett zuzuweisen bzw. benutzen zu können.

8. Capturing der Bewegungen

1. Bei "Provide Trial Information" (auf der rechten Bildschirmseite) als "Type: Walk" (nicht

mehr R.O.M.) wählen und bei "Name:" einen neuen Namen verbunden mit einer ID-Nummer eintragen (z. B. "myName_walk01").

2. Anschließend bei "4. Capture !" auf "Start" klicken und das Capturen beginnt. Das

Capturen ist aus der T-Pose heraus zu starten.

Es ist ratsam, bei jeder Aufnahme den Performer in Richtung positiver Z-Achse schauen zu lassen, da sich in der Bearbeitungssoftware meist in diese Richtung orientiert wird. Ansonsten können die MoCap-Daten später bei der Anwendung in MotionBuilder auch rotiert werden.

3. Performer unternimmt einen Bewegungsablauf, danach das Capturen mittels Button

"Stop" beenden. 4. Die Aufnahme wird automatisch in der Datenbank gespeichert. 5. Die Nummer beim Namen wird automatisch inkrementiert, aus z. B. "myName_walk01"

wird "myName_walk02".

Leitfaden zum Motion Capturing - 9. Post-Processing mit Vicon iQ Batch-Pipeline

Seite 21 von 48

9. Post-Processing mit Vicon iQ Batch-Pipeline Ziel des Post-Processing ist es, die Rohbewegungsdaten der angefertigten Aufnahmen brauchbar und zügig umzuwandeln und in das C3D-Format zu exportieren. Zur Bearbeitung der Bewegungsdaten gehören Datenbereinigung und Fehlerbeseitigung sowie Subjekt-Kalibrierung anhand der VSK-Datei. Voraussetzung für das Post-Processing ist das Vorliegen der VSK-Datei (Vicon Skeleton Template). 1. Starte Vicon iQ und öffne die zu bearbeitende Datenbank. 2. Ein Doppelklick auf die Aufnahme (auch Trial genannt) öffnet diese. Eine andere

Möglichkeit ist das Laden mittels rechten Mausklick auf die Aufnahme: >Open >Raw capture data.

3. Nun ist die VSK-Datei zu laden. Dazu auf den Tab "Subjects" wechseln und den Button

"Import Vicon Skeleton (VSK)" wählen. Dann die richtige VSK-Datei öffnen. Anschließend zurück zum Tab "Pipeline".

Um die MoCap-Daten zu rekonstruieren und automatisch zu bearbeiten, können verschiedene Pipelines erstellt werden. Nachfolgend ist die von Vicon vorgegebene, hier jedoch geringfügig modifizierte Pipeline beschrieben: Batch-Pipeline von Vicon iQ Diese Pipeline ist in Vicon iQ vordefiniert und in der Pulldown-Leiste unter dem Namen „General_Pipeline_Example“ zu finden. In der Pipeline sollten folgende Modifikationen vorgenommen werden (rechte Maustaste auf Operation und >Remove Operation wählen):


Seite 22 von 48

Es ist äußerst wichtig, die Parameter der 1. Operation „Circle Fit, Reconstruct, Trajectory…“ so einzustellen, wie bereits in Kapitel 5 „Range of Motion“ unter „Rekonstruktion der Bewegungsdaten aus den gewonnenen 2D-Kameradaten“ beschrieben. Nachstehend nochmals ein Screenshot:

Tipp: Um die Pipeline nicht jedes Mal neu definieren zu müssen, kann sie mit ihren Einstellungen gespeichert werden. Dazu einen neuen Namen eintragen und danach zum Speichern auf das Disketten-Icon klicken:

Erklärung der einzelnen Pipeline-Operationen

1. „Circle Fit, Reconstruct, Trajectory Fit Frame Range”: Diese Operation enthält alle notwendigen

Prozesse zur Umwandlung aller 2D-Bilder in eine 3D-Rekonstruktion mit Bewegungsbahnen.

2. Mit „Camera Health Check“ wird die Kamera-Kalibrierung überprüft, was jedoch in dieser Stufe

der Bearbeitung nicht notwendig ist, da eine Kalibrierungsdatei bereits korrekt vorliegt.

3. „Load Subject(s)“ lädt die VSK-Datei. Es ist notwendig, die Operation zu editieren (Doppelklick).

Unter „Input File Name(s)” muss die VSK-Datei ausgewählt werden, die zu dieser Session

angefertigt wurde.

Manuell kann man die Datei über den Tab „Subjects“ bei „Import Vicon Skeleton (VSK)“ laden.

4. „Trajectory Labeler“ labelt die Marker automatisch anhand der VSK-Daten.

5. „Trim Tails“ beseitigt Marker, die sich unnatürlich weit vom eigentlichen Objekt wegbewegen.

Diese Fehler können durch eine fehlerhafte Rekonstruktion aufgrund von Ghost Markern,

verdeckten oder überlagerten Markern auftreten. Der Filter versucht, Ungenauigkeiten in

Bewegungsbahnen zu entfernen, indem er Frames vor oder nach Lücken entfernt und wieder

rekonstruiert.


Seite 23 von 48

6. „Filter Using a Butterworth Function”: Dieser Filter beseitigt sprunghafte, schwankende

Frequenzen, die inkonsistent mit den Markern sind.

7. „Filter Using Weighted Point Average” wendet einen Filter an, der Bewegungsbahnen in einer

gewissen Spanne an Frames auswählt und analysiert, um Rauschen zu entfernen und die

Bewegungsbahnen zu glätten. Hierbei werden Durchschnitte gebildet, indem Nachbar-

Datenpunkte in die Berechnungen einbezogen werden.

8. „Fill Gaps using Splines” führt eine kubische Spline-Interpolation aus, um die Lücken der

Bewegungsbahnen zu schließen.

9. „Fill Gaps Rigid Body”: Als Rigid Body wird ein vorgegebenes Skeleton-Gerüst (Rigid Body

Clean Up Template, RBT-Datei) bezeichnet, welches verwendet wird, um fehlende Punkte zu

ermitteln. In den Einstellungen dieser Operation muss das ursprüngliche VST-Template

angegeben werden.

10. „Fill Gaps using Virtual Points”: Virtuelle Punkte werden gesetzt, um fehlende Marker zu

ersetzen.

11. „Kinematic Fit” benutzt die VSK-Datei, um das aus den Markern rekonstruierte Skeleton an das

kinematische Skeleton anzupassen.

12. Die vorige Operation erlaubt nun die Ausführung von „Fill Gaps Using Kinematic Model“,

welches fehlende Daten aufgrund von verdeckten Markern nunmehr besser wiederherstellen

kann.

13. „Delete Unlabelled Trajectories” ist eine Operation, die nicht-gelabelte Bewegungsbahnen

löscht.

14. „Export C3D file“ ist der abschließende Schritt zum Export der MoCap-Daten für die

Weiterverwendung in MotionBuilder oder anderen Programmen. Manuell können die Daten

über das Menü >File >Export exportiert werden.

Nachdem alle Operationen der Batch-Pipeline ausgeführt worden sind, kann die fertige Animation im 3D Workspace abgespielt werden. Das Ergebnis ist meist sehr gut und zufrieden stellend. Manuelle Nachbearbeitung der MoCap-Daten Probleme, die die Batch-Pipeline nicht behebt, können eventuell manuell nachgebessert werden. Für das manuelle Editieren der Daten bieten sich verschiedene Füll-Werkzeuge an, die in der Vicon iQ 2.5 System Reference Volume I auf den Seiten 262 ff. erläutert sind. Nachfolgend ein kurzer Überblick:

Linear: Lineare Interpolation zwischen zwei Marker-Positionen, um eine Lücke zu füllen.

Spline: Eine kubsiche Spline Interpolation, um in der selektierten Bewegungsbahn Lücken zu füllen.

Kinematic Model: Kann angewendet werden, nachdem die Kinematik zugewiesen wurde. Die Operation

basiert auf dem Vicon Skeleton (VSK). Sie wird gegenüber der Spline-Interpolation bevorzugt, wenn es

sich um große Lücken handelt.


Seite 24 von 48

Associated: Selektiere mit gedrückter Strg-Taste die Secondary Marker in der Nähe des fehlenden

Markers und klicke auf Associated (nahe stehend). Die Operation versucht anhand der Positionen der

anderen Marker die Position des fehlenden zu ermitteln.

Ordered: Diese Operation nutzt temporär virtuelle Marker, die aufgrund von drei assoziierten

sekundären Markern berechnet werden.

Virtual Points: Zum Füllen der Lücken werden virtuelle Punkte verwendet, die vom Nutzer selbst zu

erstellen sind (virtual point clean up template, siehe hierzu Vicon iQ Reference auf Seiten 308 ff.).

Rigid Body: Entsprechend des definierten Skeletons werden der fehlende Punkt ermittelt und

Diskontinuitäten beseitigt.

Leitfaden zum Motion Capturing - 10. Erstellen eines Skeletons in Maya

Seite 25 von 48

10. Erstellen eines Skeletons in Maya Achtung: 3D-Figur sollte in Richtung positiver Z-Achse schauen (Standard für 3D-Modelling). Als Bearbeitungsmodus muss „Animation“ gewählt sein.

Namenskonventionen von MotionBuilder

1. Starte Maya, öffne eine 3D-Figur und blende das Grid aus zur besseren Übersicht

(>Display >Grid). 2. Wähle die gesamte 3D-Figur aus. Erstelle dann einen Layer und klicke mit rechter

Maustaste auf diesen, wähle im Kontextmenü „Add Selected Objects“. Anschließend auf das Feld neben „V“ (visible) klicken, ein „T“ (template) erscheint und die 3D-Figur existiert nun als Ghost.

3. Als Nächstes im Tab „Animation“ das Joint-Tool wählen:

Tipp: Mit gedrücktem Shift kann der Joint beim Setzen verschoben werden. 4. Wähle jetzt den Front View. 5. Setze den ersten Joint etwa in Hüfthöhe (in der Mitte des Beckens).


Seite 26 von 48

6. Wechsle dann zum Side View und setze die Joints wie folgt, beginnend mit den „hips“:

7. Drücke Enter und benenne dann die Joints entsprechend der Namenskonventionen von

MotionBuilder um, dazu Doppelklick auf "joint1" rechts oben in den Eigenschaften ("joint1" wird zu “hips“).

8. Setzen der Joints für die Beine (mit einem neuen unabhängigen Joint neben der Hüfte

beginnen):

9. Wechsle zum Front View und verschiebe das Bein an die richtige Stelle. 10. Danach markiere das gesamte Bein (1. Joint klicken) und wähle im Menü >Edit

>Duplicate (Um Default-Einstellung zu aktivieren, in der Dialogbox bei >Edit >Reset Settings wählen.) Dann den Button „Duplicate“ betätigen.


Seite 27 von 48

11. Das duplizierte Skeletonbein nun auf das rechte Bein der 3D-Figur verschieben und dann entsprechend der Namenskonventionen benennen:

12. Selektiere nun mit gedrückter Shift-Taste folgende Joints: „LeftUpLeg“ + „RightUpLeg“ +

„hips“. Drücke jetzt „P“ für das Parenting (Beine werden Children der Hüfte).

13. Nun erfolgt das Setzen der Joints für die Arme:


Seite 28 von 48

14. Mit dem gesamten Arm selektiert, wähle aus dem Menü >Skeleton >Mirror Joint und dort:

Dann den Button „Mirror“ betätigen.

15. Falls nötig kann die Position des Armes verschoben werden (siehe auch Top View). 16. XYZ-Orientierung der Joints sind durch das Spiegeln nicht korrekt, daher den gesamten

rechten Arm auswählen und in Command Line von Maya folgenden MEL-Code eingeben, damit sie neu ausgerichtet werden:9

-e :: edit mode

-oj :: orientation -xyz :: x-pointed down the bone -ch :: all children

17. Nun folgt die Benennung der Joints des rechten Arms analog dem Linken (d. h. „Left“

jeweils mit „Right“ ersetzen).

18. Selektiere nun mit gedrückter Shift-Taste folgende Joints: „LeftShoulder“ + „RightShoulder“ + „spine3“ und drücke danach „P“ für das Parenting.

19. Untemplate die 3D-Figur im Layer (Klick auf „T“). 20. Selektiere das komplette Skeleton und die 3D-Figur. Wähle dann im Menü >Skin >Bind

Skin >Smooth Bind und stelle folgende Optionen ein:

21. Drücke dann den Button „Bind Skin“. Nun bewegt sich die 3D-Figur entsprechend den Joints des Skeletons.

9 Vgl. Tutorials von 3D Buzz unter http://www.3dbuzz.com/vbforum/sv_dl_list.php?c=10 (Zugriff vom 2007-05-28).


Seite 29 von 48

Gewichtungen modifizieren Ziel der Veränderung der Gewichtungen ist es, unnatürliche Verformungen zu vermeiden. 1. Selektiere die gesamte 3D-Figur. 2. Wähle im Menü >Skin >Edit Smooth Skin >Paint Skin Weights Tool. 3. Jetzt können die Einflüsse der Joints eingestellt bzw. eingezeichnet werden (schwarz =

kein Einfluss, weiß = Einflussbereich). Tipp: Klicke den Button „Flood“, um die Gewichtung für die selektierten Elemente zu glätten.

Letzte Schritte 1. Öffne den Hypergraph (Menü >Window >Hypergraph). 2. Klicke im Hypergraph auf den Namen der 3D-Figur und mit gedrücktem Shift auf den

Joints „hips“ des Skeletons. 3. Nun betätige auf der Tastatur den Shortcut Strg + G. Damit sind Skeleton und 3D-Figur

gruppiert. Benenne noch die Gruppe um in „Reference“. 4. Im Menü klicke >File >Save Scene.

5. Danach unter >File >Export All . Wähle unter File Type: "fbx" und betätige den Button "Export All". Speichere die Daten an geeigneter Stelle.

Hinweis: Das FBX-Plugin muss für Maya installiert sein, damit das FBX-Format zur

Verfügung steht.10 Außerdem muss FBX in Maya aktiviert werden, sonst erhält man zum Beispiel beim Öffnen der FBX die Fehlermeldung „Unrecognized File Type“. Aktivierung unter >Window >Settings/Preferences >Plugin-Manager bei:

Import nach MotionBuilder Einfach im Menü >File >Open wählen und dann die Datei öffnen.

10 Download des FBX-Plugins bei Autodesk: http://usa.autodesk.com/adsk/servlet/item?siteID=123112&id=7851647

Leitfaden zum Motion Capturing - 11. Data-Processing mit MotionBuilder

Seite 30 von 48

11. Data-Processing mit MotionBuilder

11.1 User-Interface

(1) Title Bar und Menu Bar

(2) 3D Workspace Wird auch als Viewer Window bezeichnet. Mit View- und Display-Options, 3D-Navigation und Toolbar im rechten Bereich.

(3) Character Controls Für die Animation eines Characters über ein Control Rig (Kontrollgerüst). Dort lassen sich ebenfalls Bewegungsquelle und Ansichtsmodi einstellen.

(4) Transport Controls Kontrollen zum Abspielen des Animationsclips.

(5) Navigator Zweiteilung in linke Seite Scene Browser und rechte Seite Asset Settings. In den Tabs stehen mehrere Modi zur Auswahl: Dopesheet (zeigt Keyframes an), FCurves (Function Curve stellt Bewegungsdaten grafisch dar), Story (Komposition von Animationsclips), Motion Blend (optional für das Blending), Animation Trigger (Bereitstellen von Animationen, die über Auslöseimpulse gestartet werden).

(6) Asset Browser Zweiteilung in linke Seite View Options und rechte Seite Browser Pane.


Seite 31 von 48

11.2 Mappen der Bewegungsdaten auf den Actor

In MotionBuilder funktioniert das Mapping der MoCap-Daten grundsätzlich über eine Zwischeninstanz namens Actor, der die Bewegungen aufnimmt und schließlich auf einen Character11 überträgt. Der Actor ist anatomisch geformt und besitzt menschliche Proportionen. Nachfolgend ist der Ablauf in MotionBuider kurz geschildert, bevor die Vorgehensweise im nächsten Abschnitt detailliert erklärt wird: Als erstes werden die MoCap-Daten importiert und ein Actor erstellt. Danach passen wir die Proportionen des Actors an die Markerpositionen der Bewegungsdaten an. Dadurch wird die saubere Übertragung der Bewegungsdaten gewährleistet. Nach der Anpassung erfolgt das Anbinden der MoCap-Daten an den Actor. Hierzu müssen die entsprechenden Marker den Cells (vordefinierte Stellen in den Actor Controls) zugeordnet werden, damit der Actor sich an ihnen orientieren kann. Ein in Maya erstelltes, im FBX-Format gespeichertes Skeleton (meist mit seiner 3D-Figur) wird in den 3D Workspace importiert und charakterisiert (Nutzung des „Character“-Templates sowie Zuordnen der Skeleton-Bones zu diesem). Nach der Charakterisierung stehen unterschiedliche Funktionen in MotionBuilder bereit, mit denen sich die Bewegungen des Skeletons beeinflussen lassen. Wenn der Bewegungsablauf des Skeletons wie gewünscht angepasst wurde, kann die Animation geplottet und exportiert werden. Zwei Hinweise vorab: - Die Marker sollten im Idealfall in Richtung Z-Achse gerichtet sein, worauf bei der MoCap-

Aufnahme bereits geachtet wurde. Andernfalls können sie in MotionBuilder rotiert werden. - Oft funktioniert das Undo in MotionBuilder nicht, oder nur für wenige Schritte, was das

Arbeiten mit MotionBuilder wesentlich erschwert. 1. Starte das Programm MotionBuilder und importiere die C3D-Datei von Vicon, die die

MoCap-Daten enthält. Nutze dazu das Menü >File >Import, selektiere „Vicon (*.c3d)“ als Dateityp.

2. Nach dem Import erscheinen Bewegungspunkte, die Marker im Screen:

11 Der Character ist in MotionBuilder eine abstrakte Vorlage für den Knochenaufbau der Figur, sie ist jedoch weder Knochen

noch Geometrie.


Seite 32 von 48

3. Als nächstes einen „Actor“ aus dem Asset Browser in den 3D-Workspace ziehen:

4. Klicke auf „Actor“ im Asset Browser, halte den Mousebutton gedrückt und zieh den Actor

in den 3D-Workspace, dann erscheint:

Hinweis: In dieser Beispiel-Abbildung blickt der importierte Actor standardgemäß in Richtung der Z-Achse, jedoch wurden die MoCap-Daten in Richtung positiver X-Achse aufgenommen, sodass der Actor rotiert und transliert werden muss, um auf die Marker zu mappen.

Actor den Markern anpassen Hier ist es außerordentlich hilfreich, wenn Fotos vom Performer vorliegen, als Referenz für die Original-Marker auf dem Realkörper. 1. Als Nächstes den Actor und seine Körperteile skalieren, translieren und rotieren bis sie in

der „Wolke“ der Motion-Daten liegen. Die Tools dazu befinden sich auf der rechten Toolbar. Nutze auch die Masks (Icons am Ende der Toolbar) für andere Select-Modi.

2. Beim Ausrichten mit der Hüfte anfangen, dann zu den Extremitäten hin anpassen (von der

Hüfte zu den Armen und dem Kopf; vom Unterkörper zu den Füße hin), da Abhängig-keiten der verschiedenen Elemente zueinander bestehen. Weiterhin darauf achten, dass die Bewegungspunkte auf der Actor-Oberfläche positioniert werden.


Seite 33 von 48

3. Hilfreiche Tipps an dieser Stelle: Strg+A für Ansichtswechsel Strg+1 für die Ein-Fenster-Ansicht, Strg+4 für die Vier-Fenster-Ansicht Taste „T“ für Translation, „R“ für Rotation, „S“ für Scaling Taste „F“ für Framing (Zentrieren des ausgewählten Elements in Fenstermitte) Eventuell versteckte Marker können sich im Actor-Körper befinden, nutze daher auch den X-Ray-Modus: >View >X-Ray.

Translieren des Actors auf die „Wolke“ der MoCap-Daten (4-Fenster-Ansicht)

Anpassen der Proportionen des Actors an die Bewegungspunkte


Seite 34 von 48

3D-Marker auf der Oberfläche des Actors

Liste aller Marker: 6 Marker je Arm 5 Marker am Kopf 3 Marker je Schulter 1 Marker auf Sternum (vorne, Mitte der Brust) 2 Marker auf Rücken (hinten, Mitte oben) 3 Marker auf der Lendenwirbelsäule 4 Marker auf der Taille (vorne und Seite) 3 Marker je Bein (Oberschenkel, Knie, Unterschenkel) 4 Marker je Fuß insgesamt 47 Vicon-Marker

Sechs Marker je Arm


Seite 35 von 48

4 Marker an der Taille, 3 Marker je Bein, 4 Marker je Fuß

Zuordnen der Marker zum Actor 1. Gehe zum Navigator, klicke auf „MarkerSet...“ und dann auf „Create“.

2. Die Zuordnung der Marker erfolgt, indem jeder Marker im 3D-Workspace selektiert und

mit gedrückter Alt-Taste auf die entsprechende Körpersektion, die sogenannte Cell, gezogen wird. Jede Cell kann maximal 5 Marker aufnehmen.

insgesamt werden 32 Marker benutzt


Seite 36 von 48

Zuordnung:

Cell Anzahl Namen

Kopf 4 LFHD, RFHD, LBHD, RBHD

Schultern je 2 LFTShould, LRRShould, RFTShould, RRRShould

Brust 2 STRN, MidBack

Hüfte (Waist) 4 LFWT, RFWT, LBWT, RBWT

Ellbogen je 1 LELB, RELB

Hand je 1 LWRIST, RWRIST

Finger je 2 LPINKY, LTHUMB RPINKY, RTHUMB

Knie je 1 LKNE, RKNE

Schienbein je 1 LSHN, RSHN

Hacken (Ankle) je 1 LANK, RANK

Zehen (Toe) je 2 LTOE, LMT5, RTOE, RMT5

Im 3D Workspace erscheint ein weißer Marker um einen blauen Marker (MoCap-Daten) herum, wenn er dem Skeleton-Modell in den Actor Settings zugeordnet wurde. Marker-Set exportieren (HIK-Datei) 1. Klicke auf „MarkerSet...“ in den Actor Settings und wähle Export.

2. Das Marker-Set wird als .hik-Datei gespeichert und kann mit anderen Aufnahmen (der

gleichen Session) wieder verwendet werden. Somit erspart sich das Produktionsteam Zeit, da die Anpassung des Actor-Körpers zu den Markern nur einmal durchgeführt werden muss.


Seite 37 von 48

Aktivieren des Characters 1. In den Actor Settings auf „Snap“ klicken, damit die Offsets berechnet werden und das

Mapping aktiviert wird. 2. Wähle in der sich öffnenden Dialogbox „TR“ (Translation und Rotation) aus, um die

Offsets des Marker-Sets zu kalkulieren. 3. Der Actor ist nun aktiviert und die Marker-Positionen sind seinen Körperteilen angepasst.

Das Marker-Set verbindet die Marker und den Actor, die optischen Daten sind nun gemappt. Jetzt besteht die Möglichkeit, den Actor als Bewegungsquelle für eine charakterisierte 3D-Figur zu nutzen.

Hinweis: In den Actor Settings kann der Actor über “Active” an- und ausgeschaltet werden.

MoCap-Daten auf Actor gemappt

4. Da es zu kleinen Fehlern kommen kann (siehe Fuß in unterer Abbildung), muss die Szene

nachbearbeitet werden, dazu mehr in Kapitel 11.5 Fehlerkorrektur:

Kleine Fehler an der Fußspitze


Seite 38 von 48

Wiederverwendung des Marker-Sets (HIK-Datei) Nachdem neue Bewegungsdaten als C3D-Datei und ein neuer Actor importiert wurden, einfach die HIK-Datei importieren, dazu: 1. Auf „MarkerSet...“ in den Actor Settings klicken und „Import“ wählen. 2. Als nächstes alle optischen Datenpunkte (auch “root”, grüne Sphere) markieren und mit

gedrückter ALT-Taste in den Model Teil (<No model>) neben Reference ziehen. 3. Nun setzt MotionBuilder automatisch alle Marker an die richtigen Stellen. 4. „Active“ klicken und der Actor snapt auf die Bewegungsdaten. Nun bewegt sich der Actor

entsprechend der MoCap-Daten.

11.2 Skeleton charakterisieren und mit Actor verbinden

Achtung: Die Joints des Skeletons der importierten 3D-Figur sollten entsprechend der Namenskonventionen von MotionBuilder benannt sein. Siehe hierzu Kapitel 10. Erstellen eines Skeletons in Maya: Wichtiger Hinweis: In MotionBuilder werden nur die Bewegungen anhand des Skeletons bearbeitet, der Körper der 3D-Figur hat keinen Einfluss. Das heißt, es reicht aus, das Skeleton aus Maya zu exportieren und in MotionBuilder zu charakterisieren, darauf die Bewegungen zu mappen und es wieder zurück nach Maya zu exportieren. Es ist jedoch ratsam, das Skeleton mit seiner 3D-Figur zu importierten, da Bewegungen und eventuelle Verformungen dadurch visuell besser zu verfolgen sind. 3D-Figur mit Skeleton importieren 1. 3D-Figur mit Skeleton importieren (ohne Animation) mittels des Menüs: >File >Merge...


Seite 39 von 48

2. Nach dem Import der 3D-Figur bitte aus dem Asset Browser unter Templates - Characters einen „Character“ nehmen und ihn auf die Hüfte des 3D-Characters ziehen (“Characterize” klicken und dann “Biped”12 wählen).

3. Der „Character“ erscheint nun im Navigator (links in nachstehender Abbildung), klicke

doppelt auf ihn, um die Character Definition und die Character Settings zu öffnen:

Mapping List und Naming Template noch nicht zugewiesen

4. Sofern die Namenskonventionen von MotionBuilder eingehalten wurden, muss nur auf

“Extract Naming Template” geklickt werden und die Zuweisungen von Skeleton-Elementen zu Character-Elementen wird automatisch vorgenommen (Mapping).

Nodes des Skeletons sind der Mapping List zugeordnet

5. Wenn das Skeleton nicht den Namenskonventionen entspricht, müssen die Nodes einzeln

per gedrückter ALT-Taste aus dem 3D Workspace in die Character-Definitionen (Mapping List und Naming Template) gezogen werden.

12 Die Abkürzung Biped meint das englische Wort Bipedalism, was das Stehen oder Fortbewegen auf zwei Beinen meint.


Seite 40 von 48

Actor und Skeleton verbinden 1. Wähle den Character in der Baumstruktur auf der linken Seite des Navigators, klicke auf

den Tab „Character Settings“ und wählte unter „Input Type: Actor Input“, danach bei „Active“ den Haken setzen.

2. Sobald “Active” geklickt wurde, snapt der 3D-Body auf den Actor:

3. Nun kann die Animation geplottet und exportiert werden (siehe nächstes Kapitel).


Seite 41 von 48

11.4 Plotting und Weiterverwendung

Plotten der Bewegungsdaten auf ein Skeleton Unter Plotting, Baking oder Burning versteht man das Übertragen von Bewegungsdaten auf ein Skeleton. Die Bewegung des Skeletons ist auf der Bearbeitungsstufe „Actor“ von diesem abgeleitet und es gibt keine wirklichen Daten für die Elemente des Skeletons (Gelenke bzw. Joints). 1. Um in MotionBuilder zu plotten, muss in den Character Settings auf „Plot Character…“

geklickt werden. 2. Anschließend kann das fertige Skeleton über >File >Export im FBX-Format exportiert

werden. Nach dem Plotten der Daten werden Rotations- und Translationsdaten in die Joints hinein platziert. Danach ist es das Skeleton allein, das sich aufgrund seiner nun eigenen Daten bewegt, die Bewegungsdaten sind mit ihm verschmolzen. Wählt man einen Joint aus und betrachtet seine Daten in den FCurves, so sind jetzt alle Rotationen und Translationen für diesen Joint erkennbar. Dort können direkte Veränderungen vorgenommen werden. Weiterverwendung 1. Export der Animation zu Maya

Nach dem Plotten auf das Skeleton kann dieses wie bereits oben beschrieben über >File >Export als FBX-Datei exportiert und in Maya, in die bereits erstellte Szene, wieder importiert werden. Dazu in Maya unter >File >Import... die Datei auswählen und darauf achten, dass im sich öffnenden Dialogfenster die einfache Merge-Option gewählt ist. Nach dem Import sollten sich die Bewegungsdaten des Skeletons von selbst auf das Skeleton in Maya übertragen.

2. Weitere Exportformate Neben dem FBX-Format und einem FBX-Konvertierungsmodus (>File >FBX Converter)

stehen in MotionBuilder weitere Formate für den Export zur Verfügung:

• BVH Biovision - für hierarchische oder skelettbasierte Daten

• HTR Motion Analysis - hierarchische Transformationen und Rotationen

• AMC / ASF Acclaim - Dualformat, ASF mit Skeleton-Definition, AMC mit MoCap-Daten

• TRC - Format für Aufnahmen mit Motion Analysis

• C3D Vicon - Format für Aufnahmen mit Vicon Systemen

• 3DS 3D Studio Scene - 3ds Max Scene-Format

• DXF Scene - Vektorformat ASCII, das 2D- und 3D-Daten enthält

• OBJ Object File - für den Export von Objektinformationen

3. Rendering in MotionBuilder MotionBuilder bietet neben den Export-Möglichkeit auch ein Rendering an, damit lässt

sich die Szene in den Formaten: AVI, MOV, JPG, TGA, TIF, TIFF, YUV und SWF Flash rendern. Der Zugriff erfolgt über das Menü >File >Render und dort die entsprechende Option auswählen.


Seite 42 von 48

11.5 Fehlerkorrektur

Fehlerkorrekturen lassen sich gut über die Auxiliary Effectors (unterstützende Effektoren) durchführen. Sie sind in vielen Situationen hilfreich, um die Bewegungen eines Skeletons zu beeinflussen. Hier kommt die inverse Kinematik zur Geltung, bei der ausgehend von der Lage eines Endeffektors die Bewegungen der übrigen Glieder berechnet werden. Vorgehen in MotionBuilder: 1. Rechter Mausklick auf die Cell des entsprechenden Körperteils in den Character Controls

und wähle >Create Aux Effektor. Im 3D Workspace erscheint ein Auxiliary Effector (gekennzeichnet als gelber Würfel):

2. Dieser Effector kann verschoben und rotiert werden, um Position und Rotation des Originalnodes (rote Kugel in der Abbildung) wie gewünscht zu verändern.

3. Für jeden Framebereich muss die Position des Effectors gekeyt werden (Taste „K“

betätigen). 4. Im Tab FCurves können Translationen, Rotationen und Skalierungen betrachtet und

verändert werden.


Seite 43 von 48

5. Auch die Intensitäten des Effectors können separat gekeyt und in den FCurves

nachträglich eingestellt werden:

Hinweis: Die Bearbeitung kann unter Umständen länger dauern, da Positionen und Intensitäten von Frame zu Frame stark variieren können und das Keying entsprechend variiert vorgenommen werden muss.

5. Wenn die Bewegung geändert wurde und fertiggestellt ist, müssen die Änderungen auf

das Skeleton geplottet werden. Drücke hierzu Plot Character in den Character Settings. Damit werden die Änderungen mit dem Skeleton verschmolzen und die Auxiliary Effectors verschwinden.

6. Anschließend kann das Skeleton mit den geänderten Bewegungsdaten als FBX-

Animationsdatei oder die gesamte Szene mit Skeleton und 3D-Figur exportiert werden. Hinweis: Die gekeyten XYZ-Positionen der Auxiliary Effectors werden beim einfachen Speichern der FBX-Datei nicht gesichert, sofern man später daran weiterarbeiten möchte. Die Änderungen müssen, um erhalten zu bleiben, in einem Arbeitsgang fertiggestellt und geplottet werden.

11.6 Loops herstellen

Loops (Schleifen) meint Animationsclips, deren Anfangs- und End-Frame identisch sind. Die Clips können aneinandergereiht werden und sich wiederholen, ohne dass der Betrachter einen Übergang erkennt. Um dieses Ziel mit MotionBuilder zu erreichen, sind folgende Arbeitsschritte notwendig: Vorbereitung (Import) 1. Wähle >Layout >Editing (oder drücke den Shortcut: F3).


Seite 44 von 48

2. Klicke im Asset Browser mit der rechten Maustaste in eine leeren Stelle (templates), wähle "add favorite path" und füge das Verzeichnis mit den Fbx-Dateien zu.

3. Ziehe die FBX-Datei mit dem charakterisierten Skeleton in den 3D-Workspace und wähle >FBX Open >>No Animation.

4. Ziehe vom Asset Browser den Animationsclip (MoCap-Daten) in das Story Window (unter

das Feld des Time-Sliders, sog. Action Editor). Dadurch wird ein neuer Character Track erstellt, der automatisch auf den Character mappt.

5. Rechter Mausklick auf den „Character Track“ und wähle >Rename (z. B. "walk_source"). 6. Positioniere den Clip auf Frame 1 (mit der Maus verschieben). 7. Rechter Mausklick ins Story Window und wähle >Frame Start/End (dadurch ist der

gesamte Clip sichtbar und kann komplett abgespielt werden). Loop des Animationsclips 1. Suche einen Loop Point im ersten Teil des Animationsclips, das heißt eine Position, in der

sich ein Körperteil nicht bewegt, z. B. rechter Fuß vorne am Boden beim Linksschritt. 2. Ziehe den Laufbalken von Frame 1 bis zum gewählten Frame (Loop-Eingang):


Seite 45 von 48

3. Suche als nächsten Frame einen Loop-Ausgang, also eine gleiche Position (für das Beispiel: ein rechter Fuß erneut vorne am Boden) wie beim Loop-Eingang und ziehe den Laufbalken von rechts auf diesen Frame (Loop-Ausgang).

4. Nun verschiebe den Clip auf Frame 1. Danach rechter Mausklick auf den Balken und wähle >Copy. Füge ihn dann am Ende des Clips ein. Jetzt wird ein Ghost Skeleton am Ende des ersten Clips angezeigt (als Repräsentation für Frame 1 des zweiten Clips).

5. Ziehe den neuen Clip über den Original-Clip, etwa zwei bis drei Frames weit, als

Initialisierung des Cross-Fadings.

6. Benutze jetzt das Match Tool im Story Window und wähle:

Default-Einstellungen für das Matching

7. Durch das Matching blendet der erste Clip in den zweiten über bzw. in seinen eigenen

Anfang. Daher kann jetzt nur der erste Clip geplottet und genutzt werden. Gehe zum letzten Frame des ersten Clips und trage die Frame-Nummer (in Abbildung als Beispiel Frame 33) rechts im Feld „E“ (End) ein.

8. Danach rechter Mausklick auf den Animationsclip und wähle aus dem

Kontextmenü >Process Track/Subtracks To New Clip...


Seite 46 von 48

9. Belasse die Default-Einstellungen und drücke den OK-Button. Danach erscheint ein Fenster „Save Clip“, dort das Verzeichnis zur Speicherung des neuen Clips auswählen und den Dateinamen (FBX-Format).

Default-Einstellungen

10. Nun befindet sich im Story Window der neue geloopte Clip unter dem ersten Clip. 11. Schalte die anderen Clips auf “M” (mute), erweitere den neuen Clip (nach rechts

ausdehnen) und wähle "Frame Start/End". Jetzt wird der Clip geloopt abgespielt.

11.7 Kombination von Motion Tracks (Blending)

Es ist manchmal sinnvoll und gewünscht, zwei oder mehr Animationsclips zu einem einzigen zu kombinieren. Dies wird über das sogenannte Blending realisiert. Vorab ist die gleiche Vorbereitung nötig, wie unter Kapitel 11.5 bei Vorbereitung (Import) beschrieben. Danach sind folgende Schritte vorzunehmen: 1. Zwei Animationsclips nacheinander in das Story Window (Action Editor) ziehen. 2. Eine passende Übergangsposition für beide Clips finden (z. B. linker Fuß bewegt sich

nicht). 3. Jetzt beide Clips auf diese Übergänge verkürzen (1. Clip von rechts verkürzen, 2. Clip von

links an verkürzen).

Clip 1 und Clip 2 bis zur Übergangsposition verkürzen

4. Beide Clips zusammen bringen:


Seite 47 von 48

5. Rechter Mausklick ins Story Window und wähle >Frame Start/End (dadurch ist der gesamte Clip sichtbar und kann komplett abgespielt werden).

5. Klicke auf beim Character Track im Story Window, um die Ghost-Projektion des Skeletons vom zweiten Clip zu aktivieren.

6. Wähle den zweiten Clip im Story Window und benutze das Match Tool mit folgenden Einstellungen (bei Match Object das zu matchende Körperelement wählen):

Einstellungen für das Matching anpassen

7. Nach dem Betätigen des OK-Buttons snappen die beiden gewählten Körperelement

zusammen. Blending 1. Es ist zu beobachten, dass nur das gematchte Körperteil exakt blendet, jedoch der Rest

des Körpers von der Pose des 1. Clips in die Pose des 2. Clips springt. Daher muss dazwischen überblendet werden:

2. Ziehe den zweiten Clip entsprechend der Abbildung über den ersten Clip (dazu die

kleinen Dreiecke unten verschieben) sowie den ersten Clip über den zweiten Clip. Dadurch wird ein Blending via Interpolation vorgenommen.

3. Geringfügige Geschwindigkeitsunterschiede können beim Übergang von Clip 1 zu Clip 2 auftreten, daher sollte versucht werden, das Blending entsprechend zu verlängern bzw. zu verkürzen. Eine andere Möglichkeit ist das Plotten und Exportieren des Clips und die anschließende Nachbearbeitung des neuen Clips über Key-Frames in den FCurves.


Seite 48 von 48

11.8 Tipps und Tricks

Shortcuts Doppelklick mit Mouse in leeren Space des 3D Workspace, um ein Objekt zu deselektieren. "J" gedrückt halten und im 3D Workspace klicken & ziehen, um die Animation vorwärts oder rückwärts abzuspielen. "F" betätigen, um ein Objekt im Viewer zu zentrieren. Strg + I schaltet zwischen mehreren Kameras um. Strg + Pos1 springt zum ersten Frame der Animation. Steuerung im 3D Workspace: Shift + Linker Mausklick: Translation Camera Strg + Linker Mausklick: Dolly Camera Shift + Strg + Linker Mausklick: Rotation Camera Im Story-Window: "A" drücken, um alle Animationsclips zu framen. Strg + linker Mausklick + Ziehen, um zu zoomen. Shift + linker Mausklick, um nach rechts oder links zu navigieren. Mit Strg-W kann man zwischen der Ansicht 3D Workspace und schematische Ansicht (Hierarchie) umschalten. Dadurch wird die Selektierung bestimmter Elemente vereinfacht. Die Farbe des Hintergrunds im 3D Workspace von MotionBuilder lässt sich verändern. Dies ist über die Veränderung der Kamera-Eigenschaften im Asset Browser bei Producer Perspective unter Background Color möglich. Glossar Ein detailliertes englischsprachiges Glossar ist in der Vicon iQ 2.5 System Reference - Volume I (Revision 1.0) auf den Seiten 409 bis 438 vorzufinden.

Leitfaden zum Motion Capturing - · PDF fileLeitfaden zum Motion Capturing - 1. Workflow Seite...

Documents

Transcript of Leitfaden zum Motion Capturing - · PDF fileLeitfaden zum Motion Capturing - 1. Workflow Seite...