Kognitive und kooperative Automation zur Führung unbemannter Luftfahrzeuge

Univ.-Prof. Dr.-Ing. Axel Schulte

Institut für Flugsysteme (IFS), Universität der Bundeswehr München (UniBwM) Werner-Heisenberg-Weg 39, 85577 Neubiberg, Deutschland.

(Tel: 089/6004-2139; E-mail: axel.schulte@unibw.de).

Kurzfassung: In diesem Beitrag wird der am Institut für Flugsysteme entwickelte Ansatz der „Dual-Mode Cognitive Automation“ (Onken & Schulte, 2010) zur menschgerechten Automatisierung von Arbeitspro-zessen in der Flugführung dargestellt. Hierbei wird herausgestellt, dass kognitive Automation nicht nur durch die Verwendung KI- oder Agenten-basierter Verarbeitungsalgorithmen beziehungsweise Architektu-ren gekennzeichnet ist, sondern vor allem auch Empfehlungen für die systematische Spezifikation von Funktionen gemacht werden kann. Ferner erfolgt ein Exkurs in Ansätze zur adaptiven Automation. Nach der Darstellung der Theorie widmet sich dieser Beitrag der Anwendung auf die Automatisierung der Mul-ti-UAV-Führung aus dem Cockpit eines bemannten Hubschraubers. Zunächst werden die Systemarchitek-tur und die wichtigsten Funktionen dargestellt. Anschließend werden ausgewählte Ergebnisse aus „human-in-the-loop“-Experimenten vorgestellt.

Keywords: Adaptive Automation, Assistenzsystem, intelligenter Agent, kognitive Automation, UAV.

1. EINFÜHRUNG

Die Führung und das Missionsmanagement unbemannter Luftfahrzeuge, sogenannter UAVs („Unmanned Aerial Ve-hicles“), werden heute durch Bedienpersonal in bodengebun-denen Leitständen vorgenommen. Dabei werden in der Regel zwei oder mehrere Personen zur Bewältigung der Aufgaben der Missionsplanung, der Lenkung und Steuerung sowie der Bedienung und des Einsatzes der Missionsnutzlast eines ein-zelnen UAV benötigt (Führungsspanne < 1). Aufgrund der besonderen Eigenheiten der räumlichen Trennung von Pilot und Luftfahrzeug und bedingt durch die Einschränkungen der Funkverbindung zur Fernführung hinsichtlich Latenz, Band-breite und Verfügbarkeit, werden in UAVs massiv Automati-onsfunktionen an Bord zur Übernahme sensomotorischer Aufgaben eingesetzt (siehe Abb. 1).

FlightControl

Human-MachineInterface

PathPanning

FlightSensors

MissionSensors

SensorProcessing

Abb. 1. Typische UAV-Automatisierung (schematisch)

Diese sind Sensorsysteme zur Erfassung von Flugzustandsda-ten und deren Verarbeitung, Flugsteuerungs- und Flugrege-lungssysteme, wie z.B. Autopiloten mit weit reichendem, komplexen Funktionsumfang, aber auch Funktionalitäten z.B. zur (optimalen) Pfadplanung (z.B. (Clauß et al., 2012)). Fer-ner werden im Bereich der Nutzlasten Missionssensoren und entsprechende Verarbeitungsalgorithmen eingesetzt. Selten reicht in den genannten Systemen die Bandbreite der Ansätze

über das Erfassen und Verarbeiten kontinuierlicher Sig-nale hinaus. In Abb. 1 nicht enthalten, aber durch die Farb-kodierung angedeutet, ist die durch die Trennung zwischen Kontrollstation und Luftfahrzeug notwendige Datenlinkver-bindung, für die die Signalleitungen an geeigneter Stelle auf-getrennt werden müssen.

Die Aufgaben der Bediener erstrecken sich in einer solchen Anordnung überwiegend auf die Überwachung der automati-sierten Systeme („supervisory control“) (Sheridan, 1992). Diese sind für den Operateur das Wahrnehmen und Verste-hen der Gesamtsituation, das Planen des Flug- und Missi-onsablaufs, das Entscheiden über die Auswahl der Mittel sowie jegliche Art von Problemlösen im Zusammenhang mit der Mission. Grundsätzlich handelt es sich bei diesen in der Regel sequenziell abzuarbeitenden Tätigkeiten um höhere kognitive Aufgaben mit besonders ausgeprägtem Bedarf an mentalen Verarbeitungsressourcen (z.B. (Wickens, 1992)).

Ziel künftiger Entwicklungen, insbesondere im militärischen Sektor, ist es, die Führungsspanne zu invertieren und sogar die Führung mehrerer UAVs durch die Cockpitbesatzung bemannter Luftfahrzeuge vornehmen zu lassen (Cummings et al., 2007). In diesem Zusammenhang spricht man von soge-nannten „Manned-unmanned Teaming“ (MUM-T) Konfigu-rationen. Dabei kommt es zu einem starken Anwachsen der mentalen Beanspruchung des Operateurs durch eine Vielzahl kognitiver Aufgaben, insbesondere von Planungs-, Koordina-tions- und Entscheidungsaufgaben. Grundsätzlich muss daher von hoch automatisierten Systemen ausgegangen werden. Im Umgang des Bedieners mit komplexer Automation ist jedoch vermehrt mit menschlichen Fehlleistungen zu rechnen (Bil-lings, 1997). Dies ist auch heute schon aus Flugunfallunter-suchungen von UAVs ersichtlich (Williams, 2004). Eigene

Untersuchungen (Schulte & Donath, 2011) zeigen auf, dass die Führung mehrerer UAVs aus dem Cockpit auf Basis heu-te verfügbarer Automationstechnologie nicht unter vertretba-rer „workload“ realisiert werden kann.

Ziel der Forschungsarbeiten am Institut für Flugsysteme der Universität der Bundeswehr München ist es, Automatisie-rungsansätze für höhere, kognitive Aufgaben in MUM-T Missionen zu entwickeln, die es erlauben mehrere UAVs vom Cockpit aus zu führen. Diese sollen in Mensch-Maschine-Experimenten erprobt werden. Dabei sollen die bekannten Probleme bei der Überwachung komplexer Auto-mation durch den Menschen, also z.B. „brittleness“, „litera-lism“, „opacity“ (Billings, 1997), systematisch vermieden werden (Schulte & Meitinger, 2009).

2. KONZEPTE

Zur Erreichung dieser Ziele wird der am Institut für Flugsys-teme entwickelte Ansatz der „Dual-Mode Cognitive Auto-mation“ (Onken & Schulte, 2010) weiterentwickelt und um-gesetzt, welcher im Folgenden zusammenfassend dargestellt wird. Dazu soll zunächst auf den Aspekt der „cognitive au-tomation“ eingegangen werden, bevor dann das „dual-mode“-Konzept erläutert wird. Wesentlich hierbei ist stets der Gesichtspunkt, dass ausschließlich die vom menschlichen Operateur traditionell im Sinne von „supervisory control“ zu bedienende Automation betrachtet und weiterentwickelt wer-den soll, also nicht gewissermaßen „eingebaute“ Automation, welche als inhärenter Teil des Systems ihren Dienst tut, ohne dass dies notwendigerweise vom Bediener als solches explizit wahrgenommen werden würde (z.B. Leerlaufdrehzahlregler, ABS, Stabilisierungsregler).

2.1 Konzepte kognitiver Automation

Hiermit sei ein Automatisierungsansatz bezeichnet, welcher im Gegensatz zu herkömmlicher Automation geeignete Ar-chitektur- und Verarbeitungsansätze beziehungsweise Algo-rithmen verwendet, um auch höhere kognitive Fähigkeiten, wie z.B. Planen, Problemlösen und Entscheiden auf Seiten der maschinellen Funktion zu realisieren. Dadurch soll die Automation grundsätzlich in die Lage versetzt werden, bei Bedarf eben auch höhere kognitive Aufgaben vom Menschen zu übernehmen. Gerade in der Luftfahrt finden wir bis heute eher konservative Automatisierungsansätze, welches der Zu-lassbarkeit entsprechender Systeme geschuldet ist (Jarasch & Schulte, 2008).

Um die genannten Gesichtspunkte genauer fassen zu können, wurde im Rückgriff auf das drei Ebenen ausweisende Verhal-tensmodell des Menschen von Rasmussen (1983) ein eben-falls drei Verhaltensebenen umfassendes Modell menschli-cher, kognitiver Sub-Funktionen entwickelt (siehe Abb. 2) (Onken & Schulte, 2010). Für die kognitive Automation ist darin vor allem die oberste, nach (Rasmussen, 1983) die wis-sensbasierte Verhaltensebene interessant. Nur diese versetzt den Menschen in die Lage, auf der Basis von Fähigkeiten zur Situationsinterpretation, zur auf abstrakten Handlungszielen basierten Entscheidung und zur Planung, in vorher nicht be-kannten Aufgabensituationen rational zu handeln. Dies er-

möglicht es dem Menschen grundsätzlich flexibel zu agieren, wie es in dieser Hinsicht starre, konventionelle Automation aufgrund entsprechend fehlender Fähigkeiten nicht vermag. Konventionell automatisierte Systeme handeln stets innerhalb des zur Designzeit vorgegebenen Lösungsraums und verhal-ten sich in unvorhergesehenen Situationen im Wechselspiel mit dem Bediener möglicherweise unzulänglich („brittle-ness“). Sie reagieren auf Nutzereingaben stets mit stereoty-pen Verhaltensweisen, welche in der jeweiligen Situation auch unangemessen sein können („literalism“). Das in der Regel komplexe Verhalten erschließt sich dem Bediener in seiner Sinnhaftigkeit nicht zwingend („opacity“).

Human Operator

IdentificationGoal

Determination

Motivational Contexts

WorkEnviron-

ment

Concepts Task Options

Cue Models

Procedures

Sensori-Motor Patterns

control-relevant cues(action instructions)

matchingconcepts

goals &constraints

taskagenda

actioninstructions

sensations sensations effectorcommands

current task(intent)

Task Situations

FeatureFormation

ActionControl

TaskExecution

Planning

TaskDetermination

task-relevantcues

identification-relevant

cues

skill-based

behaviour

procedure-based

behaviour

concept-based

behaviour

Abb. 2. Modell kognitiver Sub-Funktionen

nach (Onken & Schulte, 2010)

Kognitive Automation verspricht grundsätzlich das Potenzial, derartige Probleme zu reduzieren (Meitinger, 2008), auch wenn dies keinesfalls per se durch die Verwendung entspre-chender Verarbeitungsansätze gewährleistet ist. Diese Verar-beitungsansätze sind Algorithmen der KI (Russel & Norvig, 2003) oder des Soft Computing oder des Machine Learning (Mitchell, 1997), können aber auch intelligente (multi-) Agenten Systeme (Wooldridge, 2009), beziehungsweise auf Basis kognitiver Architekturen, wie z.B. Soar (Laird et al., 1987) aufgebaut sein.

Am Institut für Flugsysteme werden kognitive Systemarchi-tekturen bereits in zweiter Generation entwickelt, um dem Anwendungsentwickler einen Zugang zu entsprechenden Algorithmen zur Verfügung zu stellen. Zunächst ist hier COSA („Cognitive System Architecture“) (Putzer & Onken, 2003) zu nennen. COSA basiert im Wesentlichen auf dem Verarbeitungsparadigma des „kognitiven Prozesses“ mit sei-nen Teilprozessen Interpretation, Zielebestimmung, Planung und Ausführung. Ferner stellt COSA das Programmierinter-face CPL („Cognitive Programming Language“) zur Verfü-gung, welche eine objektorientierte Erweiterung von Soar ist und Namensräume für die den einzelnen kognitiven Verarbei-tungsschritten zuzuordnenden Wissenselemente definiert.

COSA liegt heute den meisten am Institut entwickelten soge-nannten ACUs („Artificial Cognitive Units“) zu Grunde (sie-he z.B. (Meitinger & Schulte, 2007), (Uhrmann & Schulte, 2011)). Kriegel (2012) legt eine Arbeit vor, bei der ein reales mini-UAV von einer ACU basierend auf COSA komman-diert wird. Hierbei wird erstmals neben der Ebene des Missi-onsmanagements auch die Ebene des Systemmanagements

für das zugrunde liegende Fluggerät adressiert. Kriegel (2012) spricht in diesem Zusammenhang von einem „Know-ledge Configured Vehicle“.

Während COSA die Verarbeitung innerhalb der vier ver-schiedenen kognitiven Teilprozesse ausschließlich auf das von Soar bereitgestellte Algorithmeninventar abbildete, stellt COSA² („COSA with Centralized Ontology & Specific Algo-rithms“) direkte algorithmische Unterstützung für die in Abb. 2 geforderten kognitiven Sub-Funktionen zur Verfügung (Brüggenwirth et al., 2011). Dabei werden die folgenden Klassen von Algorithmen in ein einheitliches Software-Framework integriert:

inferenzbasierte Algorithmen für die kognitiven Teilpro-zesse Feature Formation, Identification und Goal Deter-mination. Die in COSA² eingesetzte Inferenz-Engine geht auf (Matzner et al., 2008) zurück. Hierin werden aus der Umwelt entnommene Fakten zu abstrakten Zuständen ex-pandiert.

suchbasierte Algorithmen für den kognitiven Teilprozess Planning. In COSA² werden PDDL-kompatible Pla-nungsalgorithmen (Fox & Long, 2003) verwendet. In COSA² werden hierdurch Aufgabensequenzen generiert, die die vorgegebenen Ziele erreichen. Obwohl Probleme dieser Art mathematisch von NP-schwerer Komplexität sein können, gelingt es mit Hilfe von heuristischen oder stochastischen Suchverfahren in vertretbarer Zeit eine Lö-sung zu finden.

„constraint optimization“ für die kognitiven Teilprozesse Task Determination und Task Execution. In COSA² wer-den hiermit einmal gefundene Pläne, sofern diese von der logischen Struktur her noch durchführbar sind hinsicht-lich ihrer (zeitlichen) Parametrisierung angepasst und ausgeführt. Dies geschieht mit Hilfe des „contsraint satis-faction“-Programms CPlex (Brüggenwirth & Schulte, 2012).

Der kognitive Teilprozess Action Control wird durch entspre-chende Hilfsmittel außerhalb der ACU vorgenommen.

Eine Besonderheit von COSA² ist die konsequente Wieder-verwendung des Wissens zur Identification und Goal Deter-mination bei der Planung. Durch die Verarbeitung so genann-ten L-3 Wissens können aus potenziellen Handlungen des Systems resultierende, zukünftige Zustände der Umwelt vor-hergesagt werden und das Wissen zur Situationsinterpretation erneut darauf angewendet werden. Die Nomenklatur „L-3“ geht in diesem Zusammenhang auf die Modellvorstellung des „menschlichen Situationsbewusstseins“ von Endsley & Gar-land (2000) zurück, wonach „level 3 situation awareness“ die Projektion von Weltzuständen in die Zukunft bezeichnet. Auf diese Weise ermöglicht COSA² die deliberative Planung, die sich über in der Zukunft liegende Zeitebenen erstreckt (Brüggenwirth & Schulte, 2012), gleichzeitig aber sämtliches Wissen zur Interpretation der Situation wiederverwendet.

Am „Front-End“ wird eine modellbasierte, grafische Schnittstelle zur Wissensmodellierung in CML („cognitive modelling language“) zur Verfügung gestellt (Jarasch et al., 2010). Erste erfolgreiche Anwendungen von COSA² wurden

bereits zu Aufgabenstellungen des Systemmanagements (Pe-cher et al., 2010) und des Missionsmanagements (Clauß et al., 2012) entwickelt.

2.2 „Dual-mode“-Konzept

Dem „dual-mode“-Konzept (Onken & Schulte, 2010) fol-gend können kognitive Agenten, besagte ACUs („Artificial Cognitive Units“), auf zwei explizit unterschiedliche Arten in herkömmlich automatisierte Systeme als zusätzliche Komponente integriert werden (siehe Abb. 3).

FlightControl

Human-MachineInterface

PathPanning

FlightSensors

MissionSensors

SensorProcessing

SensorProcessing

SC

CC

Abb. 3. Integration von ACUs (= Roboterkopf im Bild)

(SC = supervisory control, CC = cooperative control)

Demnach können ACUs entweder im Delegationsverhältnis zur hoch automatisierten Ausführung bestimmter durch den menschlichen Operateur gegebenen Aufgaben unter „super-visory control“ gestellt werden (Mode 1). Diese können die unterschiedlichsten Ausprägungen besitzen. An einen Ende der Skala stehen die sogenannten „autonomen Systeme“ (sie-he z.B. (Buss et al., 2007)). Im Hinblick auf das Design von Mensch-Maschine-Systemen ist dieser Begriff jedoch unzu-reichend und kann mitunter sogar irreführend sein (Onken & Schulte, 2010), da die Wechselwirkung mit dem Nutzer meist nicht angemessen berücksichtigt wird. Am anderen Ende der Skala stehen adaptive Systemansätze, die das Delegations-verhältnis zum menschlichen Bediener explizit adressieren (z.B. (Miller et al., 2002), (Miller & Parasuraman, 2007)).

Der zweite Mode kognitiver Automation ist durch ACUs repräsentiert, die, wie in Abb. 3 dargestellt, in Kooperation („cooperative control“) mit dem Menschen zu dessen Unter-stützung arbeiten (Mode 2). Onken & Schulte (2010) prägen hierfür den, seit den späten 1980er Jahren in diesem Sinne verwendeten Begriff des (wissensbasierten) Assistenzsys-tems. Eine Reihe von Prototypen wurden seither an der Uni-versität der Bundeswehr München (z.B. (Onken & Dudek, 1989), (Prévôt et al., 1995), (Wasdorf et al., 1997)) und ande-renorts (z.B. (Banks & Lizza, 1991), (Miller & Hannen, 1999), (Taylor et al., 2001)) entwickelt, welche entscheidend zur Theoriebildung in (Onken & Schulte, 2010) beitrugen.

workobjective

workresult

environmental conditions& supply

operation-supportingmeans

operating force

Abb. 4. Arbeitssystem mit Assistenzsystem

nach (Onken & Schulte, 2010)

Danach ist der Ausgangspunkt für die Spezifikation der Ei-genschaften eines solchen Assistenzsystems das sogenannte Arbeitssystem (vgl. Abb. 4), welches die physische Instanz eines durch das vorgegebene Arbeitsziel („work objective“) definierten Arbeitsprozesses ist. Im Arbeitssystem ist das Assistenzsystem konzeptionell Teil der „operating force“ (etwa: Bedienmannschaft) und nicht mehr Teil der „operati-on-supporting means“ (etwa: technische Hilfsmittel).

Die Spezifikation gelingt durch die konsequente Analyse der Charakteristika des Menschen als Teil der „operating force“ im Arbeitssystem, die dann direkt im Sinne von Anforde-rungen auf das Assistenzsystem übertragbar sind. Der menschliche Bediener (und damit auch das Assistenzsystem):

kennt und versteht das Arbeitsziel und verfolgt es in Ei-geninitiative,

generiert sich ein Verständnis der Gesamtsituation (ein-schließlich des kognitiven Zustands des Operateurs, z.B. hinsichtlich Absichten, Tätigkeiten, Aufmerksamkeit, Be-anspruchung, Ressourcen),

entscheidet über die Auswahl der Maßnahmen und Mittel im Hinblick auf die Erreichung des Arbeitsziels und

setzt die Arbeitsmittel auf Basis von deren Kenntnis ge-zielt ein.

Zudem wird verlangt, dass die einzelnen Einheiten der „ope-rating force“ (also Mensch und Assistenzsystem in unserem Fall) miteinander kooperieren. Auf dieser wesentlichen Ei-genschaft begründet sich die Begriffsprägung der „coopera-tive control“. Die Ausgestaltung dieser Zusammenarbeit ist durch die in (Onken, 1994), (Onken, 2003) und (Onken & Schulte, 2010) formulierten Grundforderungen für Mensch-Maschine-Kooperation geregelt. Danach soll der Bediener zunächst seiner Arbeit unter Nutzung der gegebenen konven-tionellen technischen Hilfsmittel bestmöglich nachgehen.

Das Assistenzsystem verschafft sich unterdessen gemäß obi-ger Forderungen ein Verständnis der Situation und lenkt, sollte dies notwendig werden, die Aufmerksamkeit des Ope-rateurs auf die dringlichste Aufgabe (1. Grundforderung). Sollte dieser mit der Durchführung der dringlichsten Aufgabe überfordert sein, so führt das Assistenzsystem geeignete Maßnahmen durch, um die Aufgabensituation in eine hand-habbare zu überführen (2. Grundforderung). Schließlich übernimmt das Assistenzsystem gewisse Aufgaben, die nicht, oder nur unter zu hohen Kosten vom Operateur durchgeführt werden können, beziehungsweise weist diese geeigneten Hilfsmitteln zu (3. Grundforderung).

Die Hoheit über die Annahme, Manipulation oder gar Defini-tion des „work objective“ verbleibt jedoch stets beim Men-schen. Nach (Onken & Schulte, 2010) ist dies die einzig kon-sequente Definition von Autonomie im Umfeld technischer Systeme, welche aus ethischen und pragmatischen Gründen niemals der Maschine zugewiesen werden sollte.

Als eine Spielart der „cooperative control“ kann die soge-nannte „mixed-initiative“ hervorgehoben werden (siehe z.B. (Allan et al., 1999)), bei der der menschliche Operateur eben-so wie das Assistenzsystem gleichermaßen unter Betonung

ihrer jeweiligen Stärken am Prozess der Missionsplanung und der Durchführung der Mission zu beteiligen sind. Strenzke & Schulte (2011) untersuchen in diesem Zusammenhang ein „mixed-initiative“-Missionsplaner für die multi-UAV An-wendung. Hierzu betreibt das Assistenzsystem zwei Planerin-stanzen. Die eine erstellt einen Referenzplan rein auf Basis des „work objective“ und der taktischen Lage. Die andere berücksichtigt zusätzlich die inkrementellen Eingaben des Operateurs an das Planungswerkzeug. Für den Fall, dass sich kritische Abweichungen ergeben, erwägt das Assistenzsys-tem einen Eingriff zu initiieren, um den Operateur auf einen im Sinne eines optimalen Planergebnisses suboptimalen Pla-nungsstand hinzuweisen.

Bei der Umsetzung von „dual-mode“ Automation (Mode 1 und Mode 2) mit kognitiven Methodenansätzen, wie in Ab-schnitt 2.1 dargelegt, ist stets zu beachten, dass die resultie-renden kognitiven Agenten in der Regel über mindestens zwei, mehr oder weniger lose gekoppelte Ebenen verfügen müssen. Die obere Ebene generiert das Rollenverhalten des Assistenzsystems (Mode 2, gem. Grundforderungen) oder des auftragsbasierten Systems (Mode 1) oder auch andere Aus-prägungen, und damit die die Aufgabenteilung definierende Interaktion mit dem Menschen, während die untere(n) Ebe-ne(n) mit der Ausplanung der Mission in der Anwendungs-domäne (z.B. UAV-Missionsplanung) befasst ist (sind).

2.3 Konzepte adaptiver Automation

Wie den Grundforderungen für effiziente Mensch-Maschine-Kooperation zu entnehmen ist, soll das Assistenzsystem Kenntnis über gewisse kognitive Zustände des Bedieners (z.B. Aufmerksamkeitsverteilung, Tätigkeiten, Beanspru-chung, Überforderung, mentale Ressourcen) zur Steuerung seiner Interventionen verwenden. Derartige Konzepte werden anderenorts unter der Bezeichnung „adaptive automation“ untersucht (siehe z.B. (Kaber et al., 2001), (Inagaki, 2003), (Scerbo, 2007)).

Unter diesem Begriff wird eine Art der Mensch-Maschine-Interaktion verstanden, bei der die beteiligten Automations-funktionen hinsichtlich z.B. ihres Automationsgrads („Level of Automation (LoA)“) (Sheridan, 1992) an die beim Men-schen zur Verfügung stehenden mentalen Ressourcen bezie-hungsweise an die subjektive Beanspruchung angepasst wer-den. Ein Kernproblem hierbei ist die on-line Bestimmung der subjektiven Beanspruchung des Operateurs.

Im Umfeld der Weiterentwicklung der Assistenzsysteme be-trachten Schulte & Donath (2011) und Donath (2012) das Phänomen der Überforderung beim Multi-UAV-Operateur. Dazu wurden Piloten in einem MUM-T Szenario mit der Führung dreier UAVs mit konventioneller Technik (d.h. Füh-rung mittels Flugmanagementsystem) aus dem Simulations-cockpit heraus beaufschlagt.

Durch die gezielte experimentelle Steigerung der Belastung, und damit der Beanspruchung (engl.: „(subjective) worklo-ad“), konnten bei den Versuchspersonen sogenannte „selbst-adaptive Strategien“ (SAS) (vgl. z.B. (Sperandio, 1978)) bei

der Durchführung einer gewählten eingebetteten Nebenauf-gabe (= Indikatoraufgabe) provoziert werden (siehe Abb. 5).

Schulte & Donath (2011) beobachten diese anhand von Inter-aktionsprotokollen und Blickbewegungsmessungen. In (Do-nath, 2012) werden gemessene Interaktionssequenzen in Hid-den-Markov-Modellen (HMM) abgebildet, wobei die verbor-genen Zustände den einzelnen Teilaufgaben der Indikator-aufgabe entsprechen.

Abb. 5. Zusammenhang SAS und Beanspruchung

Die einzelnen Modelle, soweit das Konzept zur maschinellen Überforderungserkennung, sind dabei assoziiert mit den ver-schiedenen Beanspruchungszuständen des Bedieners. Donath (2012) weist nach, dass die Teilaufgabensequenzen für die nominale Durchführung der Indikatoraufgabe (Abb. 6) an-hand des HMM robust erkannt werden können.

Abb. 6. Nominale Durchführung der Indikatoraufgabe (Donath, 2012); automatisch erkennbar durch HMM

Ein Nebenprodukt der Arbeiten ist der objektive Nachweis, dass die Führung von drei UAVs aus dem Cockpit mit kon-ventioneller Technik zu erheblicher Beanspruchung der Ope-rateure führt, welches sich in Experimenten in massivem Auftreten selbstadaptiver Strategien äußerte (Donath, 2012).

Maiwald & Schulte (2011, 2012) orientieren sich an den Ar-beiten von North & Riley (1988) und Wickens (2002) und entwickeln ein dynamisches Aufgaben- und Ressourcenmo-dell als Teil eines Assistenzsystems für den militärischen Hubschrauberpiloten in seiner Rolle als Pilot-flying in einer MUM-T Mission. Das Aufgabenmodell stellt zur Laufzeit die vom Piloten nebenläufig bearbeiteten Aufgaben bereit. Zur Synchronisation mit dem realen Arbeitsprozess werden Inte-raktions- und Blickbewegungsmessungen heran gezogen.

Abb. 7. Beispiel für „demand“-Vektoren für Flugführungsaufgaben

Das Ressourcenmodell gibt für jede mögliche Aufgabe den 8-dimensionalen „demand vector“ der Nutzung der Ressourcen zur Informationsaufnahme (auditiv/visuell, verbal/analog), zur Verarbeitung (verbal/analog) und Antwortausgabe (ver-bal/motorisch) an (vgl. Abb. 7).

Die insgesamt benötigten Ressourcen werden durch Überla-gerung der „demand“-Vektoren der aktuell bearbeiteten Aufgaben mittels der „conflict matrix“ ermittelt. Dies lässt ebenfalls die Berechnung eines prädiktiven Werts für die workload zu. Das Assistenzsystem initiiert im Sinne der 1. Grundforderung die Aufmerksamkeit lenkende Dialoge mit dem Piloten. Dabei überlagert es die „demand“-Vektoren für die zur Ausgabe möglichen Sinnesmodalitäten (visuell oder auditiv) beziehungsweise Codes (verbal oder analog) mit den aktuellen Aufgaben und wählt diejenige Ausgabekonfigurati-on, welche zu der geringsten workload und damit zu minima-len Konflikten führt. In Simulatorexperimenten konnten auf diese Weise erhebliche Leistungssteigerungen von Piloten, etwa im Hinblick auf die Verletzung gegebener Flughöhen-vorgaben beobachtet werden. Abb. 8 zeigt auf der Abszisse aufgetragen die über den Missionsablauf kumulierte Verlet-zung der Höhenvorgabe in [ft*s] für vier Versuchspersonen.

Abb. 8. Verringerung der Verletzung von Höhenvorgaben

durch adaptive Dialoggestaltung des Assistenzsystems

3. ANWENDUNGEN

„Dual-Mode Cognitive Automation“ wurde erstmals in allen in Kap. 2 beschriebenen Ausprägungen im vom Institut für Flugsysteme der Universität der Bundeswehr München durchführten Forschungsvorhaben „Hubschrauber – abge-setzte Sensorplattform / MUM-T“ des BMVg (Bundesmi-nisterium der Verteidigung) zum Einsatz gebracht und unter-sucht (Schulte, 2012). Darin soll der Kommandant eines be-mannten, militärischen Transporthubschraubers mehrere tak-tische UAVs zur Aufklärung der Route und des Einsatzge-biets sowie zur Überwachung von Landeplätzen und gegneri-schen Kräften vom Cockpit aus führen. Dies soll mindestens auf „Level of Interoperability“ 4 gemäß STANAG 4586, d.h. „control and monitoring of the UAV and sensor payload“ erfolgen. Diese Einsatzart verspricht entsprechende operative Vorteile, die insbesondere auf die sichere Durchführung fle-xibler Missionen mit geringen Vorwarnzeiten abzielen. Prob-lematisch sind dabei die hohe, im Cockpit zu beobachtende Arbeitsbeanspruchung (Donath, 2012) und die möglicherwei-se aus einer wenig am menschlichen Nutzer orientierten Phi-losophie der weitgehenden Automatisierung bestimmter Funktionen (Stichwort: „Autonome Systeme“, wie z.B. in (Jameson et al., 2005)) resultierenden Probleme bei der Be-dienung komplexer Systeme (Oron-Gilad, 2011).

Abb. 9 zeigt den schematischen Aufbau des Arbeitssystems zur Durchführung der MUM-T Mission. Auf Seiten der kon-ventionellen Arbeitsmittel („operation-supporting means“) enthält dies den bemannten Führungshubschrauber mit seiner herkömmlichen (manuellen) Flugsteuerungsanlage (nicht im Bild) und drei taktische, mit bildgebenden Missionssensoren ausgestattete, autopilotengesteuerte (nicht im Bild) UAVs. An Bord eines jeden UAVs ist eine ACU als Teil der „opera-tion-supporting means“ installiert (Mode 1). Die UAVs wer-den vom Kommandanten des bemannten Hubschraubers be-dient. Bei dieser Aufgabe wird der Kommandant von einer ACU unterstützt, die als Teil der „operating force“ konzi-piert ist (Mode 2). Der Pilot-flying wird ebenfalls von einem kognitiven Assistenzsystem („Military Rotorcraft Associate – Teaming“, MiRA-T) unterstützt, dessen adaptive Aspekte bereits in Abschnitt 2.3 erörtert wurden.

MUM-TMission

MissionSensors

MissionSensors

MissionSensors

Kommandant

Pilot

MUM-TAssistenzsystem

MiRA-TAssistenzsystem

ACUs zurauftragsbasiertenUAV-Führung

ACUs zurauftragsbasiertenUAV-Führung

ACUs zurauftragsbasiertenUAV-Führung

Abb. 9. MUM-T Arbeitssystem mit kognitiver Automation

In den folgenden Unterkapiteln sollen die wesentlichen Komponenten kognitiver Automation beschrieben und die Ergebnisse der experimentellen Untersuchungen vorgestellt werden. Zu diesem Zweck wurde am Institut für Flugsysteme ein zweisitziges, generisches Transporthubschraubercockpit (siehe Abb. 10) als Teil einer komplexen Simulationsanlage aufgebaut. Dieses diente als Basis für die Entwicklung ent-sprechender Funktionsprototypen. Die Evaluation in „hu-man-in-the-loop“-Experimenten erfolgte im Frühjahr 2011. Eine ausführliche Darstellung der Resultate findet sich in (Strenzke et al., 2011).

Arbeitsplatz desKommandanten

Arbeitsplatz desPilot-flying

Abb. 10. Cockpitsimulator des Instituts für Flugsysteme

3.1 Auftragsbasierte UAV-Führung

Bei der auftragsbasierten UAV-Führung (Mode 1) (Uhrmann & Schulte, 2011, 2012) erteilt der Operateur (hier: der Kom-mandant) den beteiligten UAVs Aufträge, welche ihrerseits im Rahmen der Bearbeitung seiner Multi-UAV-Missions-managementaufgabe sich ergebende Unteraufgaben sind. Mögliche Aufträge sind Departure, Transit, Cross Corridor, Recce Route, Recce Area, Object Surveillance und Land. Für die Erteilung der Aufträge wurde als Mensch-Maschine-Schnittstelle ein grafisches Multifunktionsdisplay auf der Basis einer Kartendarstellung gewählt (vgl. Abb. 11).

Spatial Representation of Task Agenda

Selected Display Mode: UAV Task Management

UAV Selection

Task Type Selection

Abb. 11. Interface zur Auftragsvergabe an die UAV-ACUs

Bei der Auftragserteilung durch den Kommandanten kann dieser sowohl konsekutiv, d.h. einzelschrittweise vorgehen als auch weiterreichende Aufträge direkt erteilen. Auf diese Weise ist eine selbständige, intuitive Adaption des Autono-miegrads des Systems durch den Bediener, angepasst an seine gegenwärtige subjektive Beanspruchung möglich, welches von den Versuchspersonen auch umfänglich ausgenutzt wur-de. Die konsekutive Erteilung von Einzelaufträgen heißt in diesem Zusammenhang, dass beispielsweise einem startberei-ten UAV zunächst der Auftrag Departure erteilt wird, gefolgt von den Aufträgen Transit, Cross Corridor und so weiter, bis schließlich der eigentliche Einsatzzweck, z.B. Recce Area kommandiert wird. Diese Steuerungsart erlaubt maximale Kontrolle durch den Bediener, erfordert aber gleichzeitig auch die meisten Bedienoperationen und ist damit typisch für Situationen geringer subjektiver Beanspruchung.

Alternativ dazu kann der Operateur aber auch direkt den Auf-trag Recce Area erteilen. In diesem Fall wird die an Bord des UAVs befindliche ACU die entsprechend notwendigen Zwi-schenaufgaben auf Basis des implementierten Missions- und taktischen Planungswissens automatisch ergänzen. Diese Steuerungsart erfordert nur minimale Bedienoperationen durch den Operateur, überträgt aber auch gleichzeitig ein hohes Maß an Entscheidungskompetenz auf die Automation. Damit ist diese Steuerungsart typisch für Situationen hoher subjektiver Beanspruchung – hier kann das Auftreten selbst-adaptiver Strategien (hier: das Weglassen von Zwischenauf-gaben) wirkungsvoll kompensiert werden – birgt aber gleich-zeitig auch ihre spezifischen Schwierigkeiten (siehe die vor-her beschriebenen Aspekte wie „opacity“).

Über eine (simulierte) Datenlinkverbindung zu den UAVs erreichen die Aufträge die ACUs an Bord der UAVs. Diese haben die folgenden Aufgaben zu automatisieren (Theißing et al. (2012) arbeiten diesen Ansatz weiter aus.):

Erstellen einer konsistenten Auftragsagenda durch Ein-bauen des erteilten Auftrags in eine ggf. bereits vorhan-dene Agenda bzw. durch selbständiges Ergänzen von notwendigen Zwischenaufgaben.

Herunterbrechen der Aufgaben der Agenda in Unterauf-gaben bzw. in Handlungen, welche dann an die Flugfüh-rungssysteme bzw. die Sensornutzlast in Form von An-weisungen weiter gegeben werden. Dazu zählt auch das Generieren von bedrohungsminimalen Flugwegen durch das bedrohte Gebiet. Ferner werden die Unteraufgaben in Koordination der beteiligten UAVs untereinander syner-getisch parametrisiert. Erhalten beispielsweise mehrere UAVs denselben Recce Route Auftrag, so fächern sie sich selbständig auf, um einen breiteren Erkundungsbereich abzudecken.

Sicherstellen von reaktiven Verhaltensweisen bei der Ab-arbeitung der Aufgabenagenda. In diesem Zusammen-hang ist vor Allem das Verhalten bei sogenannten „pop-up“ (also unvorhersehbaren) Bedrohungen zu rechnen.

Aus Videoanalysen mit Operateur-Tätigkeitsklassifizierungen konnte ermittelt werden, dass in der auftragsbasierten UAV-Führungskonfiguration dem Operateur neben der UAV-Führung noch beträchtliche zeitliche Ressourcen zur Verfü-gung standen, um die Kommandantentätigkeiten wie Missi-onsführung, Führung des bemannten Führungshubschraubers, Treffen von taktischen Entscheidungen usw. durchzuführen. Ebenfalls hat sich gezeigt, dass die durchschnittliche Ver-nachlässigungszeit für die UAVs 50 bis 70% der Gesamtmis-sionszeit beträgt. Hierzu wurde als Maßzahl der sogenannte „fan-out“ herangezogen (Goodrich & Olsen, 2003), (Cum-mings & Mitchell, 2008). Zudem wurde durch die Ver-suchsteilnehmer die auftragsbasierte Führung als angemesse-nes Führungsmittel (durchschnittliche Bewertung 6,1 von 7 Punkten) und von Vorteil für die Missionsdurchführung (6,3 von 7 Punkten) bewertet. Die Analyse der Aufklärungsleis-tung und -abdeckung ergab, dass durch den Einsatz der auf-tragsbasiert geführten UAVs der bemannte Helikopter in 94,5% der Zeit über potentiell feindlichem Gebiet in durch UAV vorher aufgeklärten Bereichen operierte.

Weitere Einzelheiten zur auftragsbasierten Führung sind in (Uhrmann & Schulte, 2012) zu finden.

3.2 UAV-Operateur Assistenzsystem

Das wissensbasierte Assistenzsystem (Mode 2) für den UAV-Operateur (hier: der Kommandant) weist ein völlig anderes Verhalten im Hinblick auf die Mensch-Automations-Integration auf, als die zuvor beschriebene auftragsbasierte Führung. Den in Abschnitt 2.2 beschriebenen Grundforde-rungen folgend, erfolgen eigeninitiative Eingriffe des Assis-tenzsystems in den Arbeitsprozess, wenn

seitens des Operateurs eine falsche Aufmerksamkeitsver-teilung vorliegt,

er überfordert ist oder

inakzeptable Kosten bei Bearbeitung durch den Operateur zu erwarten sind.

Für jeden dieser Auslöser wurde eine spezifische Eingriffsart einen Automationsgrad repräsentierend abgeleitet. Bei falsch verteilter Aufmerksamkeit folgt eine Aufmerksamkeitslen-kung auf die auszuführende Aufgabe inklusive eines Hinwei-ses auf die Ursache des Handlungsbedarfs. Bei Überforde-rung folgt eine Aufgabenvereinfachung in Form eines Lö-sungsvorschlags für die Aufgabe, einer Hilfe zur Bedienung der Benutzeroberfläche als auch einer Möglichkeit, die Auf-gabe automatisiert zu erfüllen. Bei zu erwartenden inakzep-tablen Kosten erfolgt eine temporäre Aufgabenübernahme bis die Situation entschärft ist. Die verschiedenen Eingriffe wur-den außerdem gegeneinander priorisiert, so dass bei mehreren gleichzeitig nötigen Eingriffen immer noch eine nachvoll-ziehbare Dialogführung mit dem Operateur erfolgt. Darüber hinaus kann der Operateur per Interaktion Meldungen, die er nicht benötigt ignorieren, oder auch weitere Hilfe vom Sys-tem anfordern.

Message to operator

Adaptation of operator‐

interface (e.g. highlighting)

Operator answer options

Abb. 12. Hinweisausgabe des Assistenzsystems

Abb. 12 zeigt eine typische Dialog-Initiative des Assistenz-systems bei fehlender Aufmerksamkeitszuwendung zu einer Objektklassifizierungsaufgabe. In diesem Fall hat das UAV-Sensornutzlastsystem einschließlich der ATR-Funktion („Au-tomated Target Recognition“) einen Kandidaten für ein feindliches Objekt entlang der Route erkannt und zur Klassi-fizierung zur Verfügung gestellt. Das Assistenzsystem er-kennt, dass diese Aufgabe vom Operateur nicht rechtzeitig durchgeführt wird. Das Assistenzsystem ergreift die Initiative zum spätesten, sinnvollen Zeitpunkt, d.h. wenn eine Objekt-klassifizierung noch rechtzeitig vor dem Überfliegen des Ob-jekts mit dem Führungshubschrauber erfolgen kann. Abb. 12 zeigt den Moment in dem das Assistenzsystem eine aufmerk-samkeitslenkende Visualisierung wählt und eine Bedienun-terstützung zur Durchführung der Aufgabe vorschlägt.

Die in diesem Fallbeispiel angewendete Aufmerksamkeits-lenkung in Verbindung mit einer ggf. genutzten Aufgaben-vereinfachung konnten systemergonomische Probleme wie Aufmerksamkeitsdefizit oder Überforderung kompensieren und damit letztendlich auch die Leistung steigern. Hier konn-te durch das Assistenzsystem die Dauer von der Objekter-

kennung durch die ATR-Funktionalität bis zur Identifikation durch den Operateur im Mittel mehr als halbiert werden. Die-ser und andere Aspekte schlugen sich auch in einer subjektiv verringerten Beanspruchung des Kommandanten, experimen-tell mittels NASA-TLX (Hart & Staveland, 1988) bestimmt, in Form von weniger Zeitdruck signifikant nieder.

Für die wissensbasierte Modellierung wurde mithilfe des Ansatzes des Arbeitssystems identifiziert, dass das Assistenz-system Wissen in den vier Bereichen Umwelt (taktische La-ge), Operateur (Handlungen und Aufgaben des Kommandan-ten, Kooperation), Arbeitsmittel (vor Allem die Schnittstelle zur auftragsbasierten Führung an Bord der UAVs und deren Bedienung) und Arbeitsziel (die Mission) benötigt. Dieses Wissen wurde im Sinne der Programmierung eines kogniti-ven Systems in COSA im kognitiven Prozess aufgebaut aus den Wissensbereichen Umweltmodelle, Ziele, Handlungsal-ternativen und Ausführungsmodelle implementiert.

Es wurden mithilfe einer Aufgabenanalyse die Operateurauf-gaben (1) Objektidentifikation, (2) Definition einzelner UAV-Aufträge, (3) Aktivieren von UAV-Aufträgen und (4) Missionsplanung (Definition von Auftragslisten für alle UAVs und den Führungshubschrauber) identifiziert und hier-für Assistenzfunktionen realisiert. Dabei wurden möglichst bei jeder Aufgabe alle Eingriffsarten implementiert. Zur Ab-deckung der Assistenzfunktionen für die Aufgaben (2)-(4) wird eine automatisierte Planung der Mission benötigt, wes-wegen das Assistenzsystem hierzu auf den bereits in Ab-schnitt 2.2 im Konzept beschriebenen „mixed-initiative“-Missionsplaner zurückgreift.

Insgesamt zeigte sich, dass die Gesamtsystemleistung durch den Einsatz des „mixed-initiative“-Missionsplaners im Ver-gleich zum manuellen Planen ohne Assistenz um den Faktor drei gestiegen ist (vgl. Abb. 13).

Abb. 13. Vergleich der Zeitdauern, die der Hubschrauber

außerhalb aufgeklärtem Gebiet verbrachte, ohne (links) vs. mit (rechts) MUM-T Assistenzsystem

Die Hinweise des Assistenzsystems zum Einfügen einzelner UAV-Aufträge (dies entspricht im Kern einer „mixed-initiative“-Planung) wurde von den Versuchspersonen deut-lich positiv evaluiert, während das Vorschlagen eines kom-plett automatisch erstellten Plans sehr unterschiedlich und im Mittel neutral bewertet wurde.

4. FAZIT

Die Kernproblematik bei der Multi-UAV-Führung vom Cockpit eines militärischen Luftfahrzeugs ist es,

1. die subjektive Beanspruchung („workload“) des Bedie-ners in vertretbaren Grenzen zu halten und

2. die möglichen negativen Auswirkungen von Komplexität der Situationen, Aufgaben und Systeme zu vermeiden.

Konventionelle Ansätze, die sich im Wesentlichen auf die Optimierung von Bedien- und Anzeigefunktionen beschrän-ken, liefern für diese anspruchsvolle Aufgabe keine befriedi-genden Resultate.

Der in diesem Beitrag beschriebene Ansatz aus dem Umfeld der kognitiven Systemergonomie geht hingegen von einer Betrachtung des kognitiven Arbeitsprozesses aus und verteilt die kognitiven Aufgaben in geeigneter Weise auf die Akteure (menschliche Operateure und künstliche kognitive Einhei-ten). Dabei wird nicht nur eine starre an den jeweiligen Stär-ken und Schwächen von Mensch und Maschine orientierte Aufgabenteilung vorgenommen, sondern es erfolgt eine An-passung an die jeweilige Situation. In diesem Zusammenhang erweisen sich Konzeptansätze wie Delegierung, adaptive Automation sowie „mixed-initiative“-Planung als tragfähig und wirken sich insgesamt leistungssteigernd aus.

Zusammengefasst sind diese Prinzipien im sogenannten Du-al-Mode Ansatz der Kognitiven Automation (Onken & Schulte, 2010). Dieser beschreibt nicht nur, wie maschinelle Agenten auf Basis Künstlicher Intelligenz entwickelt werden können, sondern auch und vor Allem, wie diese am Besten in den menschlichen Arbeitsprozess eingebracht werden.

Im Vorhaben MUM-T wurde dies erstmals voll umfänglich in einen lauffähigen Laborfunktionsprototypen umgesetzt und anhand eines realistischen Missionsszenarios mit Luftfahr-zeugführern der Bundeswehr erprobt. Die Experimente zei-gen, dass die Umverteilung und Automatisierung kogniti-ver Aufgaben im Sinne des Ansatzes der „Dual-Mode Cognitive Automation“ sinnvoll ist und die Bewältigung komplexer „supervisory control“ Aufgaben in der multi-UAV-Führung ermöglicht. Eine wesentliche Reduktion der „workload“ gelingt durch den Einsatz auftrags-, bzw. ab-sichtsgeführter Agenten. Komplexitäts-, Aufmerksamkeits- und Überforderungsproblemen kann wirkungsvoll mit wis-sensbasierten, adaptiven Assistenzsystemen entgegen gewirkt werden. Neben den beschriebenen, komplexen „human-in-the-loop“ Experimenten wurden bestimmte Funktionalitäten ebenfalls „hardware-in-the-loop“ in realen Flugversuchen an Bord von Mini-UAVs demonstriert, um die technologische Reife nachzuweisen (Kriegel, 2012)

Zur Durchführung dieser wissenschaftlichen Studien wurde am Institut ein leistungsfähiger und flexibler Missionssimula-tor einschließlich eines generischen Hubschraubercockpits aufgebaut. Neben dem Nachweis der technischen Lösungsan-sätze erlaubt diese Versuchsumgebung die Demonstration des nachweislich überaus positiven Einflusses auf die militäri-sche Operationsführung in einer MUM-T Konfiguration. Für den Bedarfsträger relevante Fragestellungen die Ausarbeitung

neuer Einsatzszenarien oder optimaler „Crew Coordination Concepts“ für den MUM-T Einsatz von UAVs betreffend, zeichnen sich deutlich ab, konnten allerdings im Rahmen dieser Studie kaum in Tiefe bearbeitet werden.

Die Ansätze zur Delegierung von Aufgaben an maschinelle Agenten (hier: auftrags-/absichtsbasierte Führung von UAVs) sind bei aller nachgewiesenen Leistungsfähigkeit jedoch im-mer noch hölzern („clumsy“, „brittle“), wenn man den Ver-gleich zu einem menschlichen Auftragnehmer in etwa einer militärischen Befehlshierarchie zieht. Die bereits am Institut begonnene Untersuchung von mehr Flexibilität und variablen Autonomiegraden in der Interaktion könnten den heute noch merklichen Unterschied zwischen der Führung eines UAVs und einer bemannten Plattform egalisieren. Ähnliches gilt für die kooperativen Ansätze, wie wir sie mit den Assistenzsys-temen verfolgen. Noch erkennen diese nicht zuverlässig die Absichten des Bedieners, haben nur ein rudimentäres Bild von seinen Fähigkeiten, Ressourcen und seiner Beanspru-chung. Grundlegende Forschungsansätze werden bereits wei-ter verfolgt.

Damit sind Systeme, die sich flexibel an die Lage, an den Bediener und an den Auftrag anpassen, die adaptiv und intel-ligent sind, heute keine unmöglichen Visionen mehr.

LITERATUR

Allan, J.E., C.I. Guinn and E. Horvtz (1999). Mixed-initiative Interaction. IEEE Intelligent Systems and their Applica-tions, 14(5).

Banks, S.B. and C.S. Lizza (1991). Pilot’s Associate: A co-operative, knowledge-based system application. IEEE Expert Magazine, 6(3).

Billings, C.E. (1997). Aviation Automation: The Search for a Human-Centered Approach. Lawrence Erlbaum.

Brüggenwirth, S., W. Pecher and A. Schulte (2011). Design Considerations for COSA². IEEE Symposium Series on Computational Intelligence, Paris, France.

Brüggenwirth S., and A. Schulte (2012). COSA² – A Cogni-tive System Architecture with Centralized Ontology and Specific Algorithms. IEEE International Conference on Systems, Man, and Cybernetics, Seoul, Korea.

Buss, M., M. Beetz, D. Wollherr (2007). CoTeSys – cogni-tion for technical systems. 4th COE Workshop on Human Adaptive Mechatronics.

Clauß, S., P. Aurich, S. Brüggenwirth, V. Dobrokhodov, I. Kaminer, and A. Schulte (2011). Design and Evaluation of a UAS combining Cognitive Automation and Optimal Control. AIAA Infotech@Aerospace Conference, Garden Grove, CA, USA.

Cummings, M.L., S. Bruni, S. Mercier, and P.J. Mitchell (2007). Automation Architecture for Single Operator, Multiple UAV Command and Control. The International C2 Journal, 1(2).

Cummings, M.L. and P. Mitchell (2008). Predicting control-ler capacity in supervisory control of multiple UAVs. IEEE Systems, Man and Cybernetics, 38(2).

Donath, D. (2012). Verhaltensanalyse der Beanspruchung des Operateurs in der Multi-UAV-Führung. Dissertation an der Universität der Bundeswehr München.

Endsley, M.R. and D.J. Garland. (2000). Situation Awareness Analysis and Measurement. Lawrence Erlbaum.

Fox, M. and D. Long (2003). PDDL 2.1: An extension to PDDL for expressing temporal planning domains. Jour-nal of Artificial Intelligence Research, 20(1).

Goodrich, M. and D. Olsen (2003). Seven principles of effi-cient human robot interaction. IEEE International Con-ference on Systems, Man and Cybernetics.

Hart, S.G. and L.E. Staveland (1988). Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. P. A. Hancock and N. Mesh-kati (Eds.) Human Mental Workload, North Holland.

Inagaki, T. (2003). Adaptive Automation: Sharing and Trad-ing Control. E. Hollnagel (Ed.) Handbook of Cognitive Task Design, Lawrence Erlbaum.

Jameson, S., J. Franke, R. Szczerba and S. Stockdale (2005). Collaborative Autonomy for Manned/Unmanned Teams. In: Proceedings of the American Helicopter Society 61st Annual Forum, Grapevine, TX, USA.

Jarasch, G. and A. Schulte (2008). Satisfying integrity re-quirements for highly automated UAV systems by a sys-tems engineering approach to cognitive automation. 27th Digital Avionics Systems Conf., St. Paul, MN, USA.

Jarasch, G., S. Maier, P. Kingsbury, M. Minas and A. Schulte (2010). Design Methodology for an Artificial Cognitive System applied to Human-centred Semi-autonomous UAV Guidance. 2nd Intl. Conference on Humans Operat-ing Unmanned Systems, Toulouse, France.

Kaber, D.B., J.M. Riley, K.-W. Tan and M.R. Endsley (2001). On the Design of Adaptive Automation for Complex Systems. Cognitive Ergonomics, 5(1).

Kriegel, M. (2012). Wissensbasierte Konfiguration eines un-bemannten Fluggeräts als Architekturansatz zur kogniti-ven Flugführung. Dissertation an der Universität der Bundeswehr München.

Laird, J.E., A. Newell and P.S. Rosenbloom (1987). Soar: An architecture for general intelligence. Artificial Intelligen-ce, 33(1).

Maiwald, F. and A. Schulte (2011). Mental resource demands prediction as a key element for future assistant systems in military helicopters. Lecture Notes in Computer Science, 6781/2011. Springer.

Maiwald, F. and A. Schulte (2012). Adaptation of a Human Resource Model by the use of Machine Learning Meth-ods as Part of a Military Helicopter Pilot Associate Sys-tem. Human Factors and Ergonomics Society. 56th An-nual Meeting, Boston, MA, USA.

Matzner, A., M. Minas and A. Schulte (2008). Efficient graph matching with application to cognitive automation. Ap-plications of Graph Transformations with Industrial Relevance, Springer.

Meitinger, C. and A. Schulte (2007). Onboard Artificial Cog-nition as Basis for Autonomous UAV Co-operation. In: GARTEUR AG FM-14 – Autonomy in UAVs. Technical Proceedings GARTEUR/TP-163, Group for Aeronautical Research and Technology in Europe.

Meitinger, C. (2008). Kognitive Automation zur kooperativen UAV-Flugführung. Dissertation an der Universität der Bundeswehr München.

Miller, C.A. and M.D. Hannen (1999). The Rotorcraft Pilot’s Associate: Design and Evaluation of an Intelligent User Interface for Cockpit Information Management Knowl-edge Based Systems, 12.

Miller, C.A., H.B. Funk, M. Dorneich and S.D. Whitlow (2002). A playbook interface for mixed initiative control of multiple unmanned vehicle teams. 21st Digital Avion-ics Systems Conference, Irvine, CA, USA.

Miller, C.A., R. Parasuraman (2007). Designing for Flexible Interaction between Humans and Automation: Delega-tion Interfaces for Supervisory Control. Human Factors, 49(1).

Mitchell, T.M. (1997). Machine Learning. McGraw-Hill. North, R.A. and V. Riley (1988). W/INDEX: A predictive

model of operator workload. Applications of Human Per-formance Models to Systems Design, Plenum Press.

Onken R. and H.-L. Dudek (1989). Assistant for Single-Pilot IFR Operation (ASPIO). IJCAI Workshop on Integrated Human-Machine Intelligence in Aerospace Systems, De-troit, MI, USA.

Onken, R. (1994). Basic Requirements Concerning Man-Machine Interactions in Combat Aircraft. Workshop on Human Factors/Future Combat Aircraft, Ottobrunn.

Onken, R. (2003). Cognitive Cooperation for the Sake of the Human-Machine Team Effectiveness. In: The Role of Humans in Intelligent and Automated Systems. RTO-Meeting MP-088/HFM-084. Warsaw, Poland.

Onken, R. and A. Schulte (2010). System-ergonomic Design of Cognitive Automation – Dual-Mode Cognitive Design of Vehicle Guidance and Control Work Systems. Studies in Computational Intelligence, 235. Springer.

Oron-Gilad, T., M. Hou, G. Osga, A. Schulte and E.S. Red-den (2011). Limitations and Advantages of Autonomy in Controlling Multiple Systems: An International View. M.J. Barnes & T. Oron-Gilad (Eds.). Panel Discussion at the Human Factors and Ergonomics Society 55th Annual Meeting, Las Vegas, NV, USA.

Pecher, W., S. Brüggenwirth and A. Schulte (2010). Using Cognitive Automation for Aircraft General Systems Management. 5th Intl. Conference on Systems of Systems Engineering (SoSE), Loughborough, UK.

Prévôt T., M. Gerlach, W. Ruckdeschel, T. Wittig, and R. Onken (1995). Evaluation of Intelligent On-Board Pilot Assistance In-Flight Field Trials. 6th IFAC Symposium on Man-Machine Systems, Cambridge, MA, USA.

Putzer, H. and R. Onken (2003). COSA – a generic cognitive system architecture based on a cognitive model of human behaviour. Cognition, Technology & Work.

Rasmussen, J. (1983). Skills, Rules, and Knowledge; Signals, Signs, and Symbols, and other Distinctions in Human Performance Models. IEEE Transactions SMC, 13(3).

Russell, S. and P. Norvig (2003). Artificial Intelligence: A Modern Approach. Prentice Hall.

Scerbo, M.W. (2007). Adaptive Automation. R. Parasuraman and M. Rizzo (Eds.) Neuroergonomics. The Brain at Work, Oxford University Press.

Schulte, A. and D. Donath (2011). Measuring Self-adaptive UAV Operators’ Load-Shedding Strategies under High Workload. Conference on Engineering Psychology & Cognitive Ergonomics, Orlando, FL, USA.

Schulte, A. and C. Meitinger (2009). Cognitive and Coopera-tive Automation for Manned-unmanned Teaming Mis-sions. Advanced Automation Issues for Supervisory Con-trol in Manned-unmanned Teaming Missions, NATO RTO Lecture Series SCI-208. Neuilly-sur-Seine, France.

Schulte, A. (2012). Video Documentation “Dual-Mode Cog-nitive Automation in Manned-Unmanned Teaming Mis-sions” (http://youtu.be/_Cx2sFOy0KU)

Sheridan, T.B. (1992). Telerobotics, Automation and Human Supervisory Control. MIT Press. Cambridge, MA, USA.

Sperandio, A. (1978). The regulation of working methods as a function of workload among air traffic controllers. Er-gonomics, 21.

Strenzke R. and A. Schulte (2011). The MMP: A Mixed-Initiative Mission Planning System for the Multi-Aircraft Domain. International Scheduling and Planning Appli-cations woRKshop (SPARK), in conjunction with 21st Intl. Conference on Automated Planning and Scheduling (ICAPS), Freiburg.

Strenzke, R., J. Uhrmann, A. Benzler, F. Maiwald, A. Rauschert and A. Schulte (2011). Managing Cockpit Crew Excess Task Load in Military Manned-Unmanned Teaming Missions by Dual-Mode Cognitive Automation Approaches. AIAA Guidance, Navigation, and Control Conference, Portland, OR, USA.

Taylor, R.M., S. Abdi, R. Dru-Drury, M.C. Bonner (2001). Cognitive Cockpit Systems: Information Requirements Analysis for Pilot Control of Cockpit Automation. Engi-neering Psychology and Cognitive Ergonomics. Aero-space and Transportation Systems, Ashgate.

Theißing, N., G. Kahn and A. Schulte (2012). Cognitive au-tomation based guidance and operator assistance for semi-autonomous mission accomplishment of the UAV demonstrator SAGITTA. DGLR Kongress, Berlin.

Uhrmann, J. and A. Schulte (2011). Task-based Guidance of Multiple UAV Using Cognitive Automation. 3rd Intl. Conference on Advanced Cognitive Technologies and Applications, COGNITIVE 2011. Rome, Italy.

Uhrmann, J. and A. Schulte (2012). Concept, Design and Evaluation of Cognitive Task-based UAV Guidance. In-ternational Journal on Advances in Intelligent Systems, IARIA Journals.

Walsdorf A., R. Onken, H. Eibl, H. Helmke, R. Suikat and A. Schulte (1997). The Crew Assistant Military Aircraft (CAMA). The Human-Electronic Crew: The Right Stuff? 4th Joint GAF/RAF/USAF Workshop on Human-Computer Teamwork, Kreuth.

Wickens, C.D. (1992). Engineering Psychology and Human Performance. Harper Collins.

Wickens, C.D. (2002). Multiple resources and performance prediction. Theoretical Issues in Ergonomics Science, 3(2).

Williams, K.W. (2004). A Summary of Unmanned Aircraft Accident/Incident Data: Human Factors Implications. FAA Report DOT/FAA/AM-04/24.

Wooldridge, M. (2009). An Introduction to MultiAgent Sys-tems. Wiley.