Mark-up Sprachen zur Beschreibung von virtuellen

Personen in virtuellen Umgebungen

Referat

Ziel Überblick Begriffe TVML Diskussion

<Abstract Definition of Visual Content>

<Transformation Layer>

<Display System>

Mark-up Sprachen

AML (Agent Modeling Language) MPML (Multimodal Presentation Markup Language) MURML (Multimodal Utterance Representation Markup Language for

Conversational Agents) STEP (Scripting Language for Embodied Agents) TVML (TV-program Making Language) APML CML (Charakter Markup Language) VHML HumanML (Human Markup Language) PAR (Task Definition Language for Virtual Agents) RRL (Rich Representation Language for the Description of Agent

Behavior in NECA)

Ergänzung

MPEG-4

MSAgent

„life-like“ Agents

Beschreibung mentaler Eigenschaften wie Wünsche, Ziele, Überzeugungen

Sowohl personale als auch soziale Intelligenz Autonomes Verhalten? Ausdrucksstarke Mimik und Gestik Wahrnehmung, Reaktion auf andere Avatare und

Objekte in der Umgebung Kommunikation, Sprachgenerator Beschreibung gesellschaftlicher / kultureller

Aspekte

AML

Schwerpunkt: Soziale Intelligenz, Menschliche Gruppierungen, Organisation von großen virtuellen Welten

Syntax: Erweiterung von UML „Philosophisches Konzept“ Sehr komplex und umfangreich Reines Meta-Modell

AML

AML Vorteile

UML: Gute Übersichtlichkeit Bietet nahezu grenzenlose Möglichkeiten Welt und Avatare sind grundsätzlich erweiterbar,

können beliebig ausdifferenziert werden Eignet sich sehr gut zur Beschreibung „großer

Welten“ mit vielen Objekten und Avataren und deren Beziehungen untereinander

Es können beliebig viele Handlungen / Bewegungen synchron ablaufen

Module sind vielseitig einsetzbar und wiederverwendbar

AML

Nachteile Grosser Programmieraufwand UMLs können zwar als XML-Dateien exportiert

werden, diese sind jedoch nicht mehr intuitiv lesbar und nur schwer maschinenlesbar

Es gibt (meines Wissens) bisher keine Anwendung, die in der Lage ist, ein AML-Konzept umzusetzen

Rein theoretisches Konzept, Details werden nicht beschrieben

Große Lücke zwischen theoretischem Konzept und praktischer Umsetzung

Noch „Utopie“

CML (Character Mark-up Language)

Beschreibung XML-Syntax (XSDL) Ziel: „believable human agents“ Avatare mit intelligentem Verhalten,

ausdrucksstarker Mimik und Gestik Baut u.a. auf dem MPEG-4 Standard auf

Representation-Layer (MPEG-4) Animation-Layer (MPEG-4) Complex-Animation-Layer (CFML, CBML) Facial-Action-Layer (FACS) Personality- / Emotion-Layer (CML)

1. MPEG-4 <representation-layer>

BDP Body Definition Parameter XML-Standard zur

Beschreibung der „menschlichen Anatomie“

FDP Face Definition Parameter XML-Standard zur

Beschreibung des Gesichts- / Kopfbereich

FDP Default Model

FDP bietet ein „Default Model“ an, das modifiziert werden kann

vorher nachher

FDP

84 „feature points“,

mit denen ein

3-D-Modell erstellt

werden kann

FDP Face Styler Application

Die 84 „feature points“ können auch anhand eines Originalbildes ermittelt werden

2. MPEG-4 <animation-layer> BAPS

Body Animation Parameter Set

XML-Standard zur Beschreibung von Körperbewegungen

FAPS Face Animation

Parameter Set XML-Standard zur

Beschreibung der Bewegungen von Mund, Nase...

3. <complex animation layer>

CFML Character Face Mark-

up Language Gruppierung von

elementaren Muskelspannungen im Gesichtsfeld

Beruht auf BAPS

CBML Character Body Mark-

up Language Gruppierung von

elementaren Bewegungen

Beruht auf FAPS

FACS (Facial Action Coding System)

Internationale Standardklassifikation der mimischen Muskelbewegungen im Gesichts- und Kopfbereich Heben des oberen Lides wie beim „erstaunten

Blick“ Stirnrunzeln, „Sorgenfalte“ Zusammenpressen der Lippen Heben der Augenbrauen

Insgesamt über 40 mimische Ausdrücke, 5 Stärkegrade

CML Idee

„Animated lifelike character representations of agents will only be widely deployed when there are real-time mechanisms to contextually map character and affect models to effected animated personifications. To approach this the SAFIRA project utilises the design elements of an architecture for including personality and emotional responsivness in an interface agent...“

→ Es fehlt nur noch ein „personality- und eine emotion-layer“

CML Syntax

<character><name /><personality {trait set Extravert/Introvert/..} /><role {Helper/Salesman/...} /><gender M/F /><charType Human/Non-Human/... /><animationTool MPEG-4/LA/MSAgent/... /><fapFiles {set of file names} /><bapFiles {set of file names} /><ttsEngine Festival/ViaVoice/... /><voice {voiceId or wav files} />...</character>

CML Character Definition

<emotion>

<type {neutral/anger/disgust/fear/joy/sadness/surprise} /><intensity

{low/intermediate/high} /><decay {0.n to

n.n(unit)/default/slow/fast}

<target {user/self/agent/object/...} />

<priority 0 to n /><preEState emotion /><transEState emotion /></emotion>

CML Emotion Definition

CML Bewertung

Ökonomisch, da CML auf bereits bestehenden Standards aufbaut

XML-Syntax ist sehr gut maschinenlesbar, plattform-unabhängig, internetfähig

Animation-Skripte können in Echtzeit erzeugt werden (?)

Keine Utopie CML-Referenz? Dank XML grundsätzlich erweiterbar

HumanML Ziele:

Clarify human communication in digital information systems

Bring human perspectives, characteristics, qualities and values into information technology

Identify and focus attention on uniquely human concerns

Ähnlich komplex und umfangreich wie AML, Metamodell, aber: XML-Syntax

Referenz: http://www.oasisopen.org/Sturmmitte/humanmarkup/schema/huml-primary-base-1.0.xsd

TVML

TV-Produktionen Vordefinierte Charaktere, Räume, Objekte ML dient zur Herstellung eines Animation-

Skripts Charaktere, Raum und Objekte einbinden Bewegungen und gesprochene Texte inszenieren Spezielle Filmeffekte (Beleuchtung,

Kameraführung) Filmmusik

(Filmbeispiel)

TVML Bewertung

Sehr gut dokumentiert Anwender-freundlich, wenig Programmieraufwand Intuitiv verständliche Syntax, leider kein XML Es sind hauptsächlich lineare Animations-Skripte möglich,

synchrone Handlungen / Bewegungen nur bedingt Nicht interaktiv, vordefiniertes Animations-Skript Zur Modellierung von neuen Charakteren / Objekten ist

eine spezielle Software mit eigener Syntax nötig In seinem Kontext originell, aber wenig abstrakt