Evaluation von Situational Risk Assessment Systemen...Evaluation von Situational Risk Assessment...

Evaluation von Situational Risk Assessment Systemen

Entwicklung eines Rahmenkonzepts und Demonstration seiner Anwendbarkeit

im Bereich der Schiffsführung

vorgelegt von

Diplom-Psychologe Boris Gauss

aus Berlin

von der Fakultät V – Verkehrs- und Maschinensysteme der Technischen Universität Berlin

zur Erlangung des akademischen Grades

Doktor der Ingenieurwissenschaften - Dr.-Ing. -

genehmigte Dissertation

Promotionsausschuss: Vorsitzender: Prof. Dr.-Ing. G. Holbach Berichter: Prof. Dr.-Ing. M. Rötting Berichter: Prof. Dr. K.-P. Timpe Tag der wissenschaftlichen Aussprache: 14. März 2008

Berlin 2008

D 83

III

Danksagung Diese Arbeit entstand im Rahmen meiner Tätigkeit als wissenschaftlicher Mitarbeiter am Fachgebiet Mensch-Maschine-Systeme der Technischen Universität Berlin unter der fachlichen Betreuung von Herrn Prof. Dr.-Ing. Matthias Rötting und Herrn Prof. Dr. Klaus-Peter Timpe. Ihnen gilt mein besonderer Dank, da sie mir am Fachgebiet Mensch-Maschine-Systeme großzügig die notwendigen Freiräume gewährt und dabei diese Arbeit stets mit großem Interesse unterstützt sowie mit ihren fachlichen Anregungen und Hin-weisen maßgeblich gefördert haben. Nicht möglich gewesen wäre diese Arbeit ohne die unermüdliche und tatkräftige Unterstützung von Herrn Dr.-Ing. habil. Diethard Kersandt, der das Navigational Risk Detection System (NARIDAS) auf Grundlage seines großen Erfahrungsschatzes als Kapitän, Nautiker, Wissenschaftler und Hochschullehrer entwi-ckelte, und die empirischen Studien aus nautischer Sicht betreute. Ihm möchte ich ganz herzlich danken für sein Engagement, seine Diskussionsbereitschaft, seine Durchset-zungskraft und seine Freundlichkeit.

Auch allen Mitarbeitern des Fachgebiets Mensch-Maschine-Systeme sowie des Zent-rums Mensch-Maschine-Systeme, die stets offen für den wissenschaftlichen Austausch waren, gilt mein Dank. Frau Dipl.-Psych. Andrea Loth und Herrn Dipl.-Ing. Carsten Deffland danke ich für die stets konstruktive Zusammenarbeit im NARIDAS-Projekt. Frau Elke Fadel, Frau Elisabeth Langer, Herrn Dipl.-Inform. Stefan Damke, Herrn Dipl.-Ing. Mario Lasch und Herrn Ing. Jörn Weißbecker möchte ich für die langjährige techni-sche, logistische und moralische Unterstützung herzlich danken.

Herr Dipl.-Ing. Gerald Rynkowski von der AVECS Corporation AG in Fichtenwalde unterstützte diese Arbeit durch die Förderung der Zusammenarbeit seines Unternehmens mit dem Fachgebiet Mensch-Maschine-Systeme. Für sein Interesse an Fragestellungen der Mensch-Maschine-Systemtechnik, die über das „gewöhnliche Tagesgeschäft“ hi-nausgehen, bin ich ihm zu Dank verpflichtet. Die empirischen Studien wurden in War-nemünde von Herrn Dr.-Ing. Michael Baldauf vom Fachbereich Seefahrt sowie in Els-fleth von Herrn Dipl.-Ing. Klaus Damm („Die Lage ist hoffnungslos, aber nicht ernst“), dem Leiter des Schiffsführungssimulators, und Herrn Dipl.-Ing. Pawel Bednarz, der die Rolle des Instructors übernahm, unterstützt. Auch allen Untersuchungsteilnehmern in Warnemünde (insbesondere Kapitän Lars Uhlmann von der Tom Sawyer) und in Elsfleth vom Fachbereich Seefahrt der Fachhochschule Oldenburg / Ostfriesland / Wilhelmsha-ven sowie der Staatlichen Seefahrtschule Cuxhaven möchte ich danken.

Zuletzt und zuallererst danke ich Katja, ohne die nicht nur diese Arbeit sondern auch das Leben überhaupt völlig unvorstellbar wäre. Nach Abschluss dieser Arbeit darf ich sie jetzt endlich heiraten, und mich mit ihr auf unsere kleine Prinzessin freuen.

V

Inhalt 1 Einleitung .................................................................................................................. 1

1.1 Ziele und Entstehungszusammenhang der Arbeit .............................................. 1

1.2 Übersicht über den Aufbau der Arbeit ............................................................... 2

2 Situational Risk Awareness ..................................................................................... 3

2.1 Der Begriff Risiko .............................................................................................. 3 2.1.1 Statische und dynamische Entscheidungen ................................................ 3 2.1.2 Situatives Risiko......................................................................................... 4

2.2 Risikowahrnehmung und Risikobewusstsein ..................................................... 6 2.2.1 Risikowahrnehmung bei statischen Entscheidungen.................................. 6 2.2.2 Risikobewusstsein bei dynamischen Entscheidungen................................ 6

2.3 Situational Risk Awareness in Mensch-Maschine-Systemen ............................ 9 2.3.1 Situation Awareness ................................................................................... 9 2.3.2 Definition der Situational Risk Awareness .............................................. 10 2.3.3 Situational Risk Awareness und Aufmerksamkeit ................................... 10 2.3.4 Situational Risk Awareness im Entscheidungsprozess ............................ 11 2.3.5 Mögliche Ursachen für eine inadäquate Situational Risk Awareness...... 13 2.3.6 Implikationen für die Mensch-Maschine-Systemtechnik......................... 14

3 Situational Risk Assessment Systeme ................................................................... 15

3.1 Das Problem der Informationskluft in MMS.................................................... 15 3.1.1 Allgemeine Lösungsansätze ..................................................................... 16 3.1.2 Technische Unterstützung der Situational Risk Awareness..................... 16

3.2 Definition von SRA-Systemen ......................................................................... 18 3.2.1 Abgrenzung zu dynamischen Warnsystemen........................................... 19 3.2.2 Funktion und Rollen von SRA-Systemen ................................................ 21

3.3 Forschungsfragen zu SRA-Systemen ............................................................... 22

4 Rahmenkonzept zur Evaluation von SRA-Systemen.......................................... 24

4.1 Ziele und Kontext der Evaluation..................................................................... 24 4.1.1 Entwicklungsprozess von SRA-Systemen ............................................... 24 4.1.2 Grundannahmen zur Evaluation von SRA-Systemen .............................. 26

4.2 Güte der Risikoberechnungen .......................................................................... 27 4.2.1 Fragestellungen und Kriterien .................................................................. 28 4.2.2 Methodischer Ansatz ................................................................................ 28

4.3 Gestaltung der Benutzungsschnittstelle............................................................ 29 4.3.1 Fragestellungen und Kriterien .................................................................. 29

VI

4.3.2 Methodischer Ansatz ................................................................................ 30

4.4 Akzeptanz des SRA-Systems ........................................................................... 31 4.4.1 Fragestellungen und Kriterien .................................................................. 31 4.4.2 Methodischer Ansatz ................................................................................ 32

4.5 Effektivität der SRA-Assistenz ........................................................................ 32 4.5.1 Fragestellungen und Kriterien .................................................................. 33

4.5.1.1 Verlässlichkeit als übergeordnetes Effektivitäts-Kriterium ................. 33 4.5.1.2 Unterkriterien der Effektivität .............................................................. 34

4.5.2 Methodischer Ansatz ................................................................................ 35

4.6 Generelle Risiken des Einsatzes von SRA-Systemen ...................................... 36 4.6.1 Systembezogene Risiken .......................................................................... 36 4.6.2 Interaktionsbezogene Risiken................................................................... 37

4.7 Zusammenfassung des Rahmenkonzepts ......................................................... 39

5 Mensch-Maschine-Interaktion bei der nautischen Schiffsführung ................... 40

5.1 Rollen und Aufgaben der Menschen bei der Schiffsführung ........................... 41

5.2 Technische Systeme auf der Schiffsbrücke...................................................... 42

5.3 Organisationale Umwelt und Arbeitsbedingungen .......................................... 44 5.3.1 Relevante Organisationen und Institutionen ............................................ 44 5.3.2 Arbeitsbedingungen.................................................................................. 44

5.4 Untersuchungen und Befunde zur MMI auf der Schiffsbrücke ....................... 45 5.4.1 Nachträgliche Analyse von Seeunfällen................................................... 45

5.4.1.1 Vorgehensweise und ausgewählte Ergebnisse ..................................... 45 5.4.1.2 Allgemeine Bewertung......................................................................... 46

5.4.2 Feldstudie ................................................................................................. 46 5.4.2.1 Vorgehensweise und ausgewählte Ergebnisse ..................................... 46 5.4.2.2 Allgemeine Bewertung......................................................................... 46

5.4.3 Simulationsexperiment ............................................................................. 47 5.4.3.1 Vorgehensweise und ausgewählte Ergebnisse ..................................... 47 5.4.3.2 Allgemeine Bewertung......................................................................... 47

5.4.4 Laborexperiment....................................................................................... 47 5.4.5 Kognitive Aufgabenanalyse ..................................................................... 47

6 Das Navigational Risk Detection and Assessment System.................................. 49

6.1 Das Risikomodell ............................................................................................. 49

6.2 Die partiellen Risiken ....................................................................................... 50 6.2.1 Collision (COL)........................................................................................ 50 6.2.2 Grounding (GRD)..................................................................................... 51 6.2.3 Track Keeping (TRA)............................................................................... 51

VII

6.2.4 Traffic (TRF) ............................................................................................ 51 6.2.5 Bridge Manning (MAN)........................................................................... 52 6.2.6 Environment (ENV) ................................................................................. 52 6.2.7 Engine/Wheel (ENG) ............................................................................... 52 6.2.8 Economy (ECO) ....................................................................................... 52

6.3 Adaptation der Wissensbasis............................................................................ 53 6.3.1 Schiffsspezifische Daten .......................................................................... 53 6.3.2 Reisespezifische Daten............................................................................. 53 6.3.3 Reiseabschnittsspezifische Adaptation (Navigation Mode) ..................... 53

6.4 Benutzungsschnittstelle (HMI)......................................................................... 55 6.4.1 Overview Fenster...................................................................................... 55 6.4.2 Details Fenster .......................................................................................... 56

6.5 Mögliche Einsatzbereiche für NARIDAS ........................................................ 57

6.6 Entwicklungsbegleitende Evaluation von NARIDAS...................................... 57

7 Evaluationsstudie I: Statischer Prototyp.............................................................. 60

7.1 Ziele und Evaluationskriterien ......................................................................... 60

7.2 Fragestellungen und Operationalisierung der Kriterien ................................... 60 7.2.1 Reliabilität ................................................................................................ 60 7.2.2 Validität .................................................................................................... 61 7.2.3 Zielwerte für die quantitativen Evaluationskriterien ................................ 62

7.3 Methoden.......................................................................................................... 62 7.3.1 Verkehrsszenen......................................................................................... 62 7.3.2 Prototyp und Demonstrator ...................................................................... 63 7.3.3 Datenerhebung und Instrumente............................................................... 64

7.3.3.1 Demografischer Fragebogen ................................................................ 64 7.3.3.2 Fragebogen zur Risikobewertung (RISK-Q)........................................ 65 7.3.3.3 Fragebogen zu Gebrauchstauglichkeit und Akzeptanz (USE-Q)......... 65 7.3.3.4 Lautes Denken ...................................................................................... 66 7.3.3.5 Interview............................................................................................... 66

7.3.4 Ablauf ....................................................................................................... 66 7.3.5 Stichprobe................................................................................................. 67

7.4 Ergebnisse und Interpretation........................................................................... 68 7.4.1 Reliabilität des Risiko-Konstrukts............................................................ 68 7.4.2 Reliabilität des Risiko-Modells ................................................................ 68 7.4.3 Klassifikationsgüte des Risikomodells..................................................... 69 7.4.4 Validität der Risiko-Berechnungen .......................................................... 70

7.4.4.1 Collision (COL).................................................................................... 71 7.4.4.2 Grounding (GRD)................................................................................. 72

VIII

7.4.4.3 Track Keeping (TRA)........................................................................... 72 7.4.4.4 Traffic (TRF) ........................................................................................ 73 7.4.4.5 Bridge Manning (MAN)....................................................................... 73 7.4.4.6 Environment (ENV) ............................................................................. 74 7.4.4.7 Engine / Wheel (ENG) ......................................................................... 75 7.4.4.8 Economy (ECO) ................................................................................... 75

7.4.5 Validität der Konzeption des Risiko-Modells .......................................... 76

7.5 Diskussion ........................................................................................................ 77 7.5.1 Evaluation von NARIDAS ....................................................................... 77 7.5.2 Beurteilung der Evaluationsmethoden ..................................................... 79 7.5.3 Ausblick.................................................................................................... 80

8 Evaluationsstudie II: Dynamischer Prototyp ...................................................... 81

8.1 Ziele und Evaluationskriterien ......................................................................... 81

8.2 Fragestellungen und Operationalisierung der Kriterien ................................... 81

8.3 Methoden.......................................................................................................... 82 8.3.1 Simulator und Prototyp............................................................................. 82 8.3.2 Simulationsszenario.................................................................................. 83 8.3.3 Versuchsplan, unabhängige und abhängige Variablen............................. 85 8.3.4 Verfahren und Instrumente....................................................................... 85

8.3.4.1 Fragebogen zur Selbsteinschätzung (SELF-Q) .................................... 85 8.3.4.2 Fragebogen zur Fremdeinschätzung durch Instructor (INS-Q)............ 86 8.3.4.3 Online-Test zur Situational Risk Awareness (SRAW-T)..................... 86 8.3.4.4 NARIDAS-Profile zum Navigationsverhalten ..................................... 86 8.3.4.5 Fragebogen zur Gebrauchstauglichkeit und Akzeptanz ....................... 87

8.3.5 Hypothesen ............................................................................................... 87 8.3.6 Ablauf ....................................................................................................... 88 8.3.7 Stichprobe................................................................................................. 89

8.4 Ergebnisse und Interpretation........................................................................... 90 8.4.1 Situational Risk Awareness (Hypothese 1) .............................................. 90

8.4.1.1 Hypothesen 1.1 und 1.2: Selbst- und Fremdbeurteilung ...................... 90 8.4.1.2 Hypothese 1.3: Online-Test SRAW-T ................................................. 90 8.4.1.3 Fazit zu Hypothese 1 ............................................................................ 93

8.4.2 Navigationsverhalten (Hypothese 2) ........................................................ 93 8.4.2.1 Hypothesen 2.1 und 2.2: Selbst- und Fremdbeurteilung ...................... 93 8.4.2.2 Hypothese 2.3: Gefahrenes Risiko (NARIDAS-Werte)....................... 95 8.4.2.3 Fazit zu Hypothese 2 ............................................................................ 97

8.4.3 Mentale Beanspruchung (Hypothese 3) ................................................... 97 8.4.4 Lernförderlichkeit (Hypothese 4) ............................................................. 98 8.4.5 Ex-Post Analyse der Zusammenhänge zwischen COL und INS-Q ......... 98

IX

8.4.6 Zusammenfassende deskriptive Auswertung von Studie I und II ............ 99 8.4.6.1 Gestaltung des GUI .............................................................................. 99 8.4.6.2 Akzeptanz ........................................................................................... 100

8.5 Diskussion ...................................................................................................... 102 8.5.1 Evaluation von NARIDAS ..................................................................... 102 8.5.2 Beurteilung der Evaluationsmethoden ................................................... 103

8.5.2.1 Verkehrsszenario ................................................................................ 103 8.5.2.2 Operationalisierung des Navigationsverhaltens durch NARIDAS-Risikowerte......................................................................................................... 104

8.5.3 Ausblick.................................................................................................. 105

9 Schlussfolgerungen ............................................................................................... 107

9.1 Zusammenfassende Bewertung von NARIDAS ............................................ 107 9.1.1 Güte der Risikoberechnungen und Akzeptanz ....................................... 107 9.1.2 Gestaltung der Mensch-Maschine-Schnittstelle ..................................... 108 9.1.3 Effektivität des Gesamtsystems.............................................................. 109

9.2 Relevanz der Befunde für andere Domänen................................................... 109 9.2.1 Übertragbarkeit des NARIDAS-Ansatzes.............................................. 110 9.2.2 Übertragbarkeit der Evaluationsergebnisse............................................ 111

9.3 Bewertung des Evaluationskonzepts .............................................................. 112

9.4 Ausblick.......................................................................................................... 113

10 Zusammenfassung ................................................................................................ 114

Anhang........................................................................................................................... 117

A Verkehrsszenen in Evaluationsstudie I ........................................................... 117

B Demografischer Fragebogen........................................................................... 120

C Fragebogen zur Bewertung der situativen Risiken (RISK-Q) ........................ 121

D Fragebogen zu Gebrauchstauglichkeit, Gestaltung und Akzeptanz (USE-Q) 122

E Informationsmaterial zur Bewertung der Szenen in Evaluationsstudie I........ 125

F Interkorrelationen der Expertenurteile............................................................ 127

G Informationen für die Brückenbesatzung in Evaluationsstudie II .................. 128

H Fragebogen zur retrospektiven Selbstbeurteilung (SELF-Q) ......................... 130

I NARIDAS-Profile zum Navigationsverhalten ............................................... 132

J Ergebnisse im USE-Q..................................................................................... 136

Literatur ........................................................................................................................ 138

X

Verzeichnis der verwendeten Abkürzungen ARPA Automatic Radar Plotting Aids BDT Behavioral Decision Theory CDT Classical Decision Theory CPA Closest Point of Approach ECDIS Electronic Chart Display and Information System ETA Estimated Time of Arrival FB Fachbereich FH Fachhochschule GPS Global Positioning System GUI Graphical User Interface HMI Human-Machine Interface IBS Integrated Bridge System IMO International Maritime Organisation INS Integrated Navigation System kn Knoten KVR Kollisionsverhütungsregeln Md Median MMI Mensch-Maschine-Interaktion MMS Mensch-Maschine-System MW Mittelwert / Arithmetisches Mittel NDM Naturalistic Decision Making nm Nautical Mile (1 nm = 1,852 km) NMEA National Marine Electronics Association NO Nautischer Offizier PC Personal Computer SD Standardabweichung SRA Situational Risk Assessment SRAW Situational Risk Awareness TCPA Time to Closest Point of Approach UKW Ultrakurzwelle (Sprechfunk) VL Versuchsleiter VTG Verkehrstrennungsgebiet WO Wachoffizier

Kapitel 1: Einleitung 1

1 Einleitung

1.1 Ziele und Entstehungszusammenhang der Arbeit Der Grundgedanke der vorliegenden Arbeit besteht darin, den Begriff des situativen Ri-sikos einzuführen und seine Nützlichkeit für die Mensch-Maschine-Systemtechnik zu demonstrieren. Gegenwärtig wird der Begriff Risiko in den verschiedensten Bereichen verwendet (z.B. Ingenieurwissenschaft, Psychologie, Wirtschaftswissenschaft, Soziolo-gie), wobei sich eine Vielfalt an unterschiedlichen Definitionen findet. Es soll gezeigt werden, dass die Differenzierung zwischen generellen und situativen Risiken wesentlich zur Klärung des Begriffs Risiko beiträgt und neue Perspektiven für die Evaluation und das Design von Mensch-Maschine-Systemen (MMS) eröffnet:

• Für die Operateure1 sind die situativen Risiken im MMS wichtige Faktoren, die sie bei ihren Entscheidungen berücksichtigen müssen. Daher wird in dieser Arbeit das theoretische Konstrukt der Situational Risk Awareness eingeführt, als eine wesentli-che Komponente der Situation Awareness der Operateure.

• Die Situational Risk Awareness der Operateure kann durch technische Systeme ge-zielt unterstützt werden. In dieser Arbeit wird gezeigt, dass es sich bei derartigen Sys-temen um eine besondere Kategorie von Unterstützungssystemen handelt, die als Si-tuational Risk Assessment Systeme (SRA-Systeme) zu bezeichnen sind.

Die zentrale Fragestellung dieser Arbeit besteht darin, wie SRA-Systeme prospektiv aus einer benutzerorientierten Sicht zu bewerten sind. Diese Fragestellung wird in einem doppelten Sinne aufgefasst:

1. Auf welche Weise soll man bei der entwicklungsbegleitenden Evaluation von SRA-Systemen verfahren? Was sind die relevanten Fragestellungen und Kriterien, was sind geeignete Methoden?

2. Welche Folgen hat der Einsatz von SRA-Systemen in MMS? Was ist der Nutzen und was sind mögliche Probleme?

Zur Beantwortung dieser Fragen wird ein Rahmenkonzept zur Evaluation von SRA-Systemen erarbeitet. Dieses Rahmenkonzept beinhaltet erstens die spezifischen Frage-stellungen und Kriterien, die sich für die Evaluation von SRA-Systemen ergeben, und zweitens eine Übersicht geeigneter Evaluationsmethoden. Am Beispiel der entwick-lungsbegleitenden Evaluation eines SRA-Systems für die nautische Schiffsführung wer-den die praktische Anwendbarkeit und die Nützlichkeit des Rahmenkonzepts in zwei empirischen Evaluationsstudien demonstriert.

1 Zur besseren Lesbarkeit wird in dieser Arbeit für menschliche Rollen bezeichnende Substantive die männliche Form verwendet (z.B. Operateur, Fahrer). Diese Form versteht sich explizit als geschlechts-neutral, Frauen sind an den entsprechenden Stellen selbstverständlich mit eingeschlossen.

2

Die in dieser Arbeit geschilderten Untersuchungen erfolgten im Rahmen eines inter-disziplinären Kooperationsprojekts zwischen dem Fachgebiet Mensch-Maschine-Systeme der Technischen Universität Berlin und der AVECS Corporation AG in Fich-tenwalde, mit freundlicher Unterstützung des Fachbereichs Seefahrt der Fachhochschule Oldenburg/ Ostfriesland/ Wilhelmshaven in Elsfleth und des Fachbereichs Seefahrt der Hochschule Wismar in Warnemünde.

1.2 Übersicht über den Aufbau der Arbeit Die Arbeit lässt sich in zwei Teile gliedern. Im ersten Teil (Kapitel 2 bis 4) werden die theoretischen Grundlagen erarbeitet. In Kapitel 2 wird die Unterscheidung zwischen ge-nerellen und situativen Risiken eingeführt, und das theoretische Konstrukt der Situational Risk Awareness begründet. Kapitel 3 definiert SRA-Systeme und erörtert ihre Funktion in MMS. In Kapitel 4 wird das Rahmenkonzept zur Evaluation von SRA-Systemen ent-wickelt.

Im zweiten Teil der Arbeit (Kapitel 5 bis 8) wird das Rahmenkonzept am Beispiel der Evaluation eines neuartigen SRA-Systems für die nautische Schiffsführung angewendet. Zunächst wird als Hintergrund in Kapitel 5 die Mensch-Maschine-Interaktion bei der Schiffsführung allgemein beschrieben. In Kapitel 6 wird der Gegenstand der Evaluati-onsuntersuchungen, das Navigational Risk Detection and Assessment System (NARI-DAS), vorgestellt. Kapitel 7 widmet sich der ersten empirischen Evaluationsstudie, die mit einem statischen NARIDAS Prototypen im Demonstrator durchgeführt wurde. Kapi-tel 8 behandelt die zweite empirische Evaluationsstudie mit einem dynamischen NARI-DAS Prototypen im Schiffsführungssimulator Elsfleth. Abschließend werden in Kapitel 9 die Schlussfolgerungen aus den gewonnenen Ergebnissen gezogen.

Kapitel 2: Situational Risk Awareness 3

2 Situational Risk Awareness

2.1 Der Begriff Risiko Ein Risiko bezieht sich auf das Eintreten eines schädigenden bzw. die Zielerreichung bei einer bestimmten Aufgabe beeinträchtigenden Ereignisses. In der Literatur der verschie-densten Forschungsbereiche findet sich eine große Vielfalt an unterschiedlichen Spezifi-kationen des Begriffs Risiko (z.B. Adams, 2005; Beck, 1986; Birolini, 2007; Keitsch, 2004; Obermeier, 1999; Yates, 1992). Nicht nur in der Psychologie gilt nach wie vor, dass „Risiko (…) zu den (...) Begriffen [gehört], die gegenwärtig sehr uneinheitlich defi-niert werden“ (Clauß et al., 1983, S. 526). In der Ingenieurwissenschaft wird der Begriff Risiko (R) im Kontext der technischen Zuverlässigkeit üblicherweise quantitativ-stochastisch als das Produkt der Eintrittswahrscheinlichkeit (P) und des Ausmaßes bzw. der Kosten (C) eines schädigenden Ereignisses i bestimmt (z.B. VDI 4001-2, zit. n. Giesa & Timpe, 2002):

Ri = Pi · Ci

Mit diesem Erwartungswert lässt sich beispielsweise das Risiko unterschiedlicher Gestaltungsvarianten eines technischen Systems miteinander vergleichen, um zu ent-scheiden, welche Variante am zuverlässigsten ist (d.h. das geringste Risiko birgt). Oder das für ein bestimmtes System ermittelte Unfallrisiko kann mit einem Normwert vergli-chen werden, um zu entscheiden, ob dieses System überhaupt zuverlässig (d.h. mit einem als akzeptabel erscheinenden Risiko) betrieben werden kann.

Es wird deutlich, dass Risiko als die Antizipation der mit einer Option potenziell ver-bundenen negativen Konsequenzen eine wesentliche Größe für Entscheidungen ist (Ei-senführ & Weber, 2002; Jungermann et al., 2005). Allerdings wird bei der Diskussion des Risiko-Begriffs bislang nicht berücksichtigt, dass sich in der Entscheidungsforschung mit der Verbreitung von Ansätzen des Naturalistic Decision Making (NDM: z.B. Klein et al., 1993; Zsambok & Klein, 1997) seit den 1980er Jahren die Unterscheidung zwischen verschiedenen Modi des Entscheidens bzw. der Entscheidungsforschung (modes of deci-sion making (research): Jungermann, 2001) etabliert hat.

2.1.1 Statische und dynamische Entscheidungen Die Vertreter des NDM grenzen sich explizit von den „traditionellen“ Ansätzen der Ent-scheidungsforschung wie der Classical Decision Theory (CDT: z.B. Savage, 1954; von Neumann & Morgenstern, 1947) oder der Behavioral Decision Theory (BDT: z.B. Ein-horn & Hogarth, 1981; Slovic et al., 1977; Tversky & Kahnemann, 1974) ab. Da die Pro-grammatik der NDM-Vertreter, man befasse sich mit „naturalisitischen Entscheidungen“, eine leicht negative Konnotation für die vergleichsweise „artifizielleren“ oder „weltferne-ren“ CDT oder BDT Ansätze impliziert, werden die verschiedenen Modi in der vorlie-

4

genden Arbeit neutraler als statische und dynamische Entscheidungen charakterisiert2. Orasanu und Connolly (1993) stellen die wesentlichen Unterschiede zwischen der stati-schen (CDT/BDT) und der dynamischen Entscheidungsforschung (NDM) wie folgt ge-genüber:

• Die klassische, statische Entscheidungsforschung konzentriert sich auf das Ereignis der Entscheidung (decision event), d.h. die Auswahl aus einer feststehenden Menge bekannter Optionen, basierend auf fixen Zielen, Absichten und Werten der Entschei-der.

• Die „naturalistische“, dynamische Entscheidungsforschung konzentriert sich auf Ent-scheidungen, die im Kontext von übergeordneten, dynamischen Aufgaben von erfah-renen Entscheidern (Experten) getroffen werden. Die Entscheidungssituationen sind häufig charakterisiert durch:

- schlecht strukturierte Probleme

- unvollständige, mehrdeutige, sich verändernde Informationen

- wechselnde, unklar definierte, konkurrierende Ziele

- hohen Zeitdruck.

Während der Entscheider bei einer statischen Entscheidung mehrere, feststehende Op-tionen zur selben Zeit gegeneinander abwägt, prüft er bei einer dynamischen Entschei-dung eher sequenziell jeweils eine einzelne Option darauf, ob sie zu der momentanen Situation passt, d.h. ein zufrieden stellendes Handlungsergebnis verspricht (z.B. Klein, 1989). Dementsprechend spielt bei dynamischen Entscheidungen die Situationseinschät-zung (situation assessment) bzw. das Situationsbewusstsein (situation awareness) der Entscheider eine zentrale Rolle (siehe Kapitel 3).

2.1.2 Situatives Risiko Im Sinne der klassischen, statischen Entscheidungsforschung ist jede der feststehenden Optionen, zwischen denen der Entscheider auswählt, mit einem bestimmten Risiko ver-bunden, das mit dem Produkt aus Wahrscheinlichkeit und Kosten zweckmäßig quantifi-ziert werden kann (s.o.). Das Risiko wird dabei als eine feststehende Größe betrachtet, die sich nur sehr langsam verändert. Soll beispielsweise das Unfallrisiko dreier Straßen-kreuzungen miteinander verglichen werden, um zu entscheiden, welche dieser Kreuzun-gen am dringendsten umgestaltet werden sollte, so kann dieses Risiko über Häufigkeiten und Kosten der in der Vergangenheit in einem längeren Zeitraum (z.B. 5 Jahre) dort ein-getretenen Verkehrsunfälle bestimmt werden. Im Gegensatz zu derartigen stationären bzw. generellen Risiken, die für eine gesamte Population gelten (hier: alle Verkehrsteil- 2 Ein weiterer Vorschlag zur Bezeichnung der verschiedenen Entscheidungsmodi stammt von Hammond et al. (1987), die ein „kognitives Kontinuum“ zwischen „analytischen“ und „intuitiven“ Entscheidungen an-nehmen.


nehmer, die die besagte Kreuzung frequentieren), beziehen sich die situativen Risiken bei dynamischen Entscheidungen auf die unmittelbare Zukunft im Handlungszusammenhang eines Individuums bzw. Teams.

Situative Risiken (situational risks) sind, wie generelle Risiken, multifaktoriell be-dingt, verändern sich aber kontinuierlich. Beispielsweise hängt das situative Kollisionsri-sikos eines konkreten Fahrzeuges in einer spezifischen Situation von dem Zusammen-wirken zahlreicher Faktoren ab, wie Zustand des Fahrzeugs (z.B. Geschwindigkeit, Spurhaltung), Verkehrssituation (z.B. Gegenverkehr, Fußgänger), Umgebungsverhältnis-se (z.B. Wetter, Straßenzustand) und Zustand des Fahrers (z.B. Ermüdung, Ablenkung). Bei einem hohen situativen Risiko ist zur sicheren Zielerreichung in der momentanen Situation eine Änderung der geplanten Handlungsausführung notwendig. Dem Entschei-der geht es beim situativen Risiko weniger um die Auswahl aus mehreren potenziell mit unerwünschten Konsequenzen verbundenen Optionen, sondern um die unmittelbare Vermeidung negativer Konsequenzen bzw. eines die Zielerreichung beeinträchtigenden Ereignisses überhaupt. Die exakte Höhe des mit diesem Ereignis verbundenen Schadens ist dabei meistens zweitrangig. Dementsprechend kann das situative Risiko zweckmäßig mit der bloßen Eintrittswahrscheinlichkeit quantifiziert werden. Allerdings kann auch die Eintrittswahrscheinlichkeit in einer komplexen, dynamischen Umgebung nur mit einer gewissen Unschärfe bestimmt werden. In Tabelle 1 sind die Unterschiede zwischen situa-tiven und generellen Risiken überblicksartig zusammengefasst.

Tabelle 1: Situatives und generelles Risiko im Überblick

Situatives Risiko Generelles Risiko

• bezieht sich auf dynamische Entschei-dungen

• bezieht sich auf die unmittelbare Zukunft (kurzfristig)

• gilt für ein Individuum / Team

• ist dynamisch (Risikohöhe verändert sich je nach Domäne im Zeitraum von Millise-kunden bis Minuten)

• lässt sich nur unscharf als Wahrschein-lichkeit quantifizieren

• bezieht sich auf statische Entscheidungen

• bezieht sich auf einen längerfristigen Zeit-raum

• gilt für eine Population

• ist eher statisch / stationär (Risikohöhe verändert sich im Zeitraum von bis zu mehreren Jahren)

• lässt sich zweckmäßig durch das Produkt aus Wahrscheinlichkeit und Schadenshö-he quantifizieren

6

2.2 Risikowahrnehmung und Risikobewusstsein

2.2.1 Risikowahrnehmung bei statischen Entscheidungen Zur Risikowahrnehmung (risk perception) liegt in der klassischen Entscheidungsfor-schung eine umfangreiche Literatur vor (z.B. Fischhoff et al., 1981; Singleton & Hovden, 1987; Slovic, 2000; Slovic et al., 1982). Im Mittelpunkt des Interesses stehen dabei häu-fig die Verzerrungen, denen die subjektive Risikobeurteilung unterliegt, bzw. die Heuris-tiken, derer sich Menschen bei ihren Risikourteilen bedienen. Mit anderen Worten: Im Fokus steht der Unterschied zwischen objektivem, tatsächlichem und subjektivem, wahr-genommenem Risiko. Beispielsweise untersuchen Slovic et al. (2000), wie hoch Men-schen die Häufigkeiten unterschiedlicher Todesursachen (z.B. Verkehrsunfall, Krebs, Tornado, Mord) einschätzen. Dieses subjektive Risiko wird daraufhin mit den tatsächli-chen Häufigkeiten der Todesursachen (objektives Risiko) verglichen, um Faktoren zu identifizieren (z.B. Verfügbarkeitsheuristik), die Fehleinschätzungen (judgmental biases), d.h. Diskrepanzen zwischen subjektivem und objektivem Risiko verursachen. Der Grundgedanke dieser Forschung besteht darin, dass subjektive Fehleinschätzungen des Risikos zu mangelhaften, „irrationalen“ Entscheidungen führen können.

Auch wenn sich die Bezeichnung Risikowahrnehmung für diesen Forschungsbereich etabliert hat, ist sie im Grunde genommen ungenau. Sie impliziert die Existenz eines ob-jektiven Risikos, das von Menschen sensorisch mehr oder weniger verzerrt wahrgenom-men wird. Bei einem Risiko handelt es sich jedoch nicht um ein reales Objekt, sondern um ein theoretisches Konstrukt (vgl. Brehmer, 1987). In Forschungsarbeiten zur Risiko-wahrnehmung geht es dementsprechend weniger um rein perzeptuelle oder sensorische Prozesse, sondern eher um Risikourteile bzw. das Risikobewusstsein, das aus Informati-onen resultiert, die von verschiedenen Quellen wahrgenommen werden. Daher wird in der vorliegenden Arbeit der Begriff Risikobewusstsein (risk awareness) bevorzugt.

2.2.2 Risikobewusstsein bei dynamischen Entscheidungen Auch bei dynamischen Entscheidungen wird dem Risikobewusstsein eine große Bedeu-tung zugemessen. Zum einen nennen Janis und Mann (1977) in ihrem Modell der vigil-anten Informationsverarbeitung (vigilant information processing) das sorgfältige Abwä-gen von Risiken als ein wichtiges Charakteristikum für gutes Entscheiden unter Stress (d.h. in einem dynamischen Kontext). Zum anderen hat das Risikobewusstsein der Ope-rateure sowohl in einigen etablierten Ansätzen zur Erklärung des menschlichen Verhal-tens bei der Kraftfahrzeugführung als auch in Entscheidungsmodellen für Flugzeugpilo-ten (aeronautical decision making: O’Hare, 2003) eine zentrale, handlungsleitende Funk-tion.

Im Bereich der Kraftfahrzeugführung stimmen die Theorie der Risikohomöostase (Wilde, 1982, 1994) und das Null-Risiko-Modell (zero risk model: Näätänen & Summa-la, 1974, 1976; s.a. Summala, 1986, 2005) darin überein, dass Fahrer ihr Verhalten ent-


sprechend ihres Risikobewusstseins steuern. Der Unterschied zwischen diesen beiden Ansätzen besteht darin, dass laut der Risikohomöostase-Theorie Menschen stets bestrebt sind, ein bestimmtes (interindividuell unterschiedliches) Maß an subjektivem Risiko (tar-get risk) aufrechtzuerhalten. Sowohl bei einem höheren als auch bei einem niedrigeren wahrgenommenen Risiko reagiert ein Kraftfahrzeugführer mit einer Verhaltensanpassung (z.B. Verringerung oder Erhöhung der Geschwindigkeit), um das wahrgenommene Risi-ko wieder in den Bereich seines target risk zu bringen. Im Gegensatz dazu geht das Null-Risiko Modell davon aus, dass ein Fahrer sich für gewöhnlich so verhält, dass die Fahr-zeugführung mit keinem subjektiven Risiko verbunden ist: “Most of time, driving is quite habitual activity with no concern of risk“ (Summala, 2005, S. 385). Demnach würde der Fahrer auf ein bewusst gewordenes Risiko unmittelbar mit einer Verhaltensanpassung reagieren, um dieses Risiko wieder zu beseitigen.

Welche der beiden Annahmen das menschliche Verhalten bei der Kraftfahrzeugfüh-rung angemessener beschreibt, soll hier nicht diskutiert werden, stattdessen sei auf den prägnanten Überblick über theoretische Modelle des Fahrerverhaltens von Vaa (2005) verwiesen. Der wesentliche Punkt für die vorliegende Arbeit ist, dass beide Modelle dem Risikobewusstsein einen zentralen Stellenwert bei der Handlungssteuerung einräumen.

Bild 1: Orasanus (1995) Modell des Entscheidungsprozesses von Piloten (Übs. BG)

8

Auch in der Domäne der Flugführung wird das Risikobewusstsein von einigen Auto-ren als eine zentrale Instanz bei Entscheidungen betrachtet (z.B. O’Hare, 2003; Orasanu, 1995). Beispielsweise unterscheidet Orasanus (1995) Modell des Entscheidungsprozesses von Piloten zwei Phasen des Entscheidens (Bild 1): Situationsbewertung (situational as-sessment) und Reaktionsauswahl (response selection). Bei der Situationsbewertung be-stehen die wesentlichen Schritte in der Bewertung der Risiken und in der Prüfung der verfügbaren Zeit. Die Reaktionsmöglichkeiten beinhalten unter anderem das Anwenden einer Regel, die Planung der Abfolge (Terminierung) der Aufgaben oder kreatives Prob-lemlösen. Das Modell sagt voraus, dass der Entscheider bei hohem subjektivem Risiko unter Zeitdruck „auf Gedeih und Verderb“ eine ihm verfügbare Regel anwenden wird, selbst wenn er das Problem nicht korrekt erfassen konnte. Hingegen wird der Entscheider bei genügend Zeit und einem moderaten bzw. variablen Risiko solange nach Informatio-nen in der Aufgabenumgebung suchen, bis er das Problem erfasst hat und die passende Reaktionsmöglichkeit wählen kann (oder bis das Risiko so hoch und die Zeit so knapp wird, dass er doch wieder „blind“ eine Regel anwenden muss).

Zusammenfassend wird in dynamischen Entscheidungsmodellen verschiedener Do-mänen von MMS die zentrale Rolle des Risikobewusstseins der Operateure anerkannt. Nach der in dieser Arbeit eingeführten Terminologie handelt es sich dabei um das Be-wusstsein situativer Risiken, das im Folgenden als Situational Risk Awareness bezeichnet wird. Die in dem Begriff Situational Risk Awareness ausgedrückte Differenzierung von generellem und situativem Risiko bringt in diesem Zusammenhang zwei Vorteile:

• Theoretische Sparsamkeit: Orasanu (1995) betrachtet Risiko und Zeitdruck getrennt, allerdings scheinen beide Begriffe in ihrem Modell redundant oder zumindest stark voneinander abhängig zu sein, da lediglich die beiden Fälle (1) „hohes Risiko UND Zeitdruck“ oder (2) „variables Risiko UND kein Zeitdruck“ unterschieden werden. In dem Begriff des situativen Risikos ist im Gegensatz zum generellen Risiko die zeitli-che Komponente bereits enthalten, da ein hohes situatives Risiko immer nur zeitnah (in der unmittelbaren Zukunft im Handlungszusammenhang, s.o.) besteht.

• Begriffliche Klarheit: Unter den Schlagwörtern „risk perception“ oder „risk aware-ness“ finden sich in der Literatur sowohl Arbeiten, die sich mit generellen Risiken befassen3 als auch Arbeiten, die sich situativen Risiken widmen4. Die Spezifikation des untersuchten Entscheidungsmodus durch den Begriff Situational Risk Awareness trägt dazu bei, das jeweilige Forschungsthema genauer einzugrenzen.

3 Beispielsweise untersuchen Rafaely et al. (2006), wie sich die Einschätzungen des Risikos, innerhalb eines Jahres in einen Verkehrsunfall verwickelt zu werden, von älteren und jüngeren Menschen unterschei-den. Dies steht in der Tradition der Arbeiten zum Risikobewusstsein bei statischen Entscheidungen. 4 Beispielsweise berichten Pradhan et al. (2006; s.a. Pollatsek et al., 2006) von einem „Risk Awareness and Perception Training“ im Simulator, mit dem das Blickverhalten von Fahranfängern verbessert werden soll, damit sie während der Fahrt eintretende (situative!) Risiken früher erkennen können.


2.3 Situational Risk Awareness in Mensch-Maschine-Systemen Die Situational Risk Awareness wird als eine Komponente der Situation Awareness eines Operateurs im MMS aufgefasst.

2.3.1 Situation Awareness Wie beim Risiko besteht auch bei der Definition des in den verschiedensten Anwen-dungsbereichen (z.B. Flugführung, Flugsicherung, Kraftfahrzeugführung, Medizintech-nik, Prozessführung) etablierten Begriffs Situation Awareness keine Einigkeit (z.B. Adams et al., 1995; Biella & Schäfer, 2002; Sarter & Woods, 1995; Vidulich, 2003). Die am häufigsten zitierte Definition dieses theoretischen Konstrukts stammt von Endsley (1988; 1995a): „Situation Awareness ist die Wahrnehmung der Elemente der Umwelt innerhalb eines räumlichen und zeitlichen Bereiches, das Verständnis ihrer Bedeutung und die Projektion ihres Zustandes in die nahe Zukunft“ (Übs. n. Hauß, 2006, S.7). Dem-nach sind drei Stufen der Situation Awareness zu unterscheiden: Wahrnehmung der Ele-mente der Situation (Stufe 1), Verständnis der Bedeutung (Stufe 2), und Projektion des zukünftigen Zustandes (Stufe 3). Nach dieser Auffassung wäre die Situational Risk Awa-reness Stufe 3 zuzuordnen, da ein situatives Risiko sich auf ein unerwünschtes Ereignis in der unmittelbaren Zukunft bezieht. Wickens et al. (2004) weisen jedoch darauf hin, dass in dynamischen Systemen keine klare Grenze zwischen Stufe 2 und Stufe 3 gezogen werden kann, da sich der Prozess laufend verändert. Dementsprechend können die beiden Stufen als „Interpretation der wahrgenommenen Informationen“ zusammengefasst wer-den, wobei die Interpretation als „antizipierendes Verständnis“ zu betrachten ist5.

Obwohl viele Autoren sie als Standard zu betrachten scheinen und ohne weitere Erör-terung übernehmen, ist die Endsleysche Konzeption des Begriffs Situation Awareness in der Literatur keineswegs unumstritten (vgl. Hauß, 2006; Uhlarik & Comerford, 2002):

• Die Abgrenzung zu anderen kognitionspsychologischen Konstrukten ist unklar (z.B. Operatives Abbild: Oschanin, 1966, zit. n. Hacker, 1973; Mentales Modell: Glenberg & Langston, 1992; Johnson-Laird, 1983; Situationsmodell: van Dijk & Kintsch, 1983). Diese Problematik wird von Hauß (2006) ausführlich diskutiert, der als „Al-leinstellungsmerkmal“ des Begriffs Situation Awareness seinen expliziten Anwen-dungsbezug für die Bewertung von MMS herausarbeitet.

• Es besteht die Gefahr der zirkulären Argumentation, wenn Situation Awareness als ein Kausalfaktor (causal agent) betrachtet wird.6 Daher sollte der Begriff nur be-

5 Auch zwischen Wahrnehmung und Interpretation kann nicht immer eine scharfe Grenze gezogen werden, z.B. bei einer direkten Reaktion auf ein Signal (skill-based behavior: Rasmussen, 1983). Allerdings er-scheint die Unterscheidung zwischen Wahrnehmung und Interpretation z.B. zur Beschreibung von Fehl-handlungen zweckmäßig (fehlende Nutzung vs. falsche Nutzung von Information: vgl. Hacker, 1973). 6 Wenn beispielsweise eine nachträgliche Analyse die fehlende Situation Awareness eines Operateurs als Unfallursache identifiziert, so ist dies nicht beweisbar, da die Situation Awareness hier lediglich aufgrund des Ergebnisses der Handlungen erschlossen aber nicht gemessen werden kann: „Der Unfall ist eingetreten,

10

schreibend verwendet (phenomenon description) und nicht als Ursache von Handlun-gen verstanden werden (Flach, 1995; Vidulich, 2003).

2.3.2 Definition der Situational Risk Awareness Trotz der genannten Kritikpunkte bildet Endsleys Ansatz aufgrund seiner hohen Be-kanntheit und häufigen Verwendung einen zweckmäßigen Ausgangspunkt für die Defini-tion und die Beschreibung der Situational Risk Awareness im Prozess der menschlichen Informationsverarbeitung. Die Situational Risk Awareness eines Operateurs wird defi-niert als sein Bewusstsein der situativen Risiken im MMS, das als ein Teil der Interpreta-tion der Situation aus der Wahrnehmung der relevanten Informationen der Aufgabenum-gebung resultiert. Ein Synonym für Situational Risk Awareness ist das subjektive situati-ve Risiko eines Operateurs. Die Situational Risk Awareness spielt eine wichtige Rolle sowohl für die Steuerung der Aufmerksamkeit als auch für die Bewertung von Hand-lungsoptionen bei dynamischen Entscheidungen (Bild 2).

Bild 2: Situational Risk Awareness im menschlichen Informationsverarbeitungsprozess

2.3.3 Situational Risk Awareness und Aufmerksamkeit Allgemein nehmen Menschen die Reize in ihrer Umgebung nicht passiv auf, sondern steuern ihre Aufmerksamkeit auf die für das jeweils aktuelle Ziel relevanten Signale (cues), die sie an einem bestimmten Ort erwarten (selektive Aufmerksamkeit: z.B. Wi-ckens & Hollands, 2000). Neben dieser gezielten Zuwendung aufgrund von Erwartungen („top-down“) wird die Aufmerksamkeitszuwendung selbstverständlich auch „bottom-up“

weil die Situation Awareness des Operateurs schlecht war. Woher aber wissen wir, dass seine Situation Awareness schlecht war? Weil der Unfall eingetreten ist...“ (vgl. Flach, 1995)


durch Eigenschaften der Signale (z.B. Salienz, d.h. „Hervorspringen“ aus der Umgebung) beeinflusst (z.B. Wickens et al., 2003; Wickens et al., 2005). Dies kann soweit gehen, dass Signale mit einer sehr hohen Salienz (z.B. Alarmton, Warnlicht) die gezielte Zu-wendung der Aufmerksamkeit auf andere Signale behindern. Kluwe (2006) beschreibt die Bedeutung der selektiven Aufmerksamkeit bei der Prozessführung: „In Mensch-Maschine-Systemen müssen viele Informationsquellen beachtet und wiederholt geprüft werden. Dabei kommt es darauf an, dass die Operateure (...) aus der Menge der präsen-tierten Informationen die jeweils relevanten Informationen zum jeweils richtigen Zeit-punkt aufnehmen und verarbeiten.“ (S. 49)

Kluwe (2006) nimmt an, dass ein „steuernder Mechanismus“, der eine gezielte Zu-wendung der Aufmerksamkeit veranlasst, unter anderem dann wirksam wird, wenn Zu-stand und Verhalten des Systems neuartig oder unbekannt sind oder vom Operateur als gefährlich und riskant eingestuft werden. Das bedeutet, die Zuwendung der Aufmerk-samkeit wird durch die Situational Risk Awareness beeinflusst. Es kann angenommen werden, dass ein Operateur seine Aufmerksamkeit gezielt auf Informationsquellen rich-ten wird, die mit einem hohen subjektiven situativen Risiko verbunden sind. Gleichzeitig wird er dazu tendieren, Informationsquellen mit einem geringen subjektiven situativen Risiko zu ignorieren.

2.3.4 Situational Risk Awareness im Entscheidungsprozess Die Rolle des Risikobewusstseins, d.h. des subjektiven situativen Risikos bei dynami-schen Entscheidungen wurde bereits in Abschnitt 2.2.2 anhand der Annahmen von Ora-sanu (1995) erörtert. Zusammenfassend kann die Bedeutung der Situational Risk Aware-ness im Entscheidungsprozess durch die Frage charakterisiert werden, ob in der gegebe-nen Situation die beabsichtigte Handlungsoption mit einer hohen Erfolgswahrscheinlich-keit durchführbar ist, oder ob die momentanen Umstände eine Änderung der aktuell durchgeführten bzw. ursprünglich geplanten Handlung erfordern. Entsprechend dem Null-Risiko-Modell (s. 2.2.2) kann davon ausgegangen werden, dass Menschen ihr Ver-halten oder ihre Absichten ändern, wenn sie ein ihre Zielerreichung behinderndes Ereig-nis antizipieren („Das wird so nicht gut gehen, ich muss etwas tun“). Null-Risiko bedeu-tet dabei nicht, dass Menschen ihre momentan durchgeführte Tätigkeit prinzipiell für völlig risikolos hielten („Da kann niemals etwas passieren“), sondern dass sie sich in der Regel für eine Handlungsoption entscheiden, mit der sie überzeugt sind, die gegebene Situation zu meistern („Mir wird so nichts passieren, ich bekomme das hin“).

Angesichts ihrer Bedeutung für die Bewertung von Handlungsoptionen wird deutlich, dass eine adäquate Situational Risk Awareness (SRAW) eine wichtige Voraussetzung für angemessenes Entscheiden und Handeln ist. Eine adäquate SRAW wird definiert als eine hohe Übereinstimmung zwischen subjektivem und objektivem situativen Risiko. Dem-

12

entsprechend bedeutet eine geringe Übereinstimmung eine inadäquate SRAW. Idealty-pisch lassen sich vier verschiedene Zustände unterscheiden7 (Bild 3):

Bild 3: Situational Risk Awareness als Übereinstimmung zwischen subjektivem und ob-jektivem situativen Risiko

• Besteht eine adäquate SRAW bei einem hohen situativen Risiko, so kann der Zustand des Operateurs als „angespannte Wachsamkeit“ gekennzeichnet werden. Der Opera-teur ist konzentriert, die mentale Beanspruchung ist hoch, die Aufmerksamkeit ist auf die relevanten Informationsquellen gerichtet.

• Besteht eine adäquate SRAW bei niedrigem situativem Risiko befindet sich der Ope-rateur in einem Zustand „entspannter Wachsamkeit“. Er hat alles unter Kontrolle, die mentale Beanspruchung ist – abhängig von den jeweiligen Aufgaben – relativ gering.

• Besteht eine inadäquate SRAW bei einem zu niedrigen subjektiven Risiko, ist der „unvorsichtige“ Operateur nicht ausreichend im Bilde über die Situation. Gefahren werden übersehen und die Wahrscheinlichkeit steigt, dass der Operateur eine falsche Entscheidung trifft und sich unangemessen verhält.

• Besteht eine inadäquate SRAW bei einem zu hohen subjektiven Risiko, kann der Zu-stand des Operateurs als „unnötige Nervosität“ charakterisiert werden. Im Gegensatz zu z.B. Klebelsberg (1982), der davon ausgeht, dass ein zu hohes subjektives Risiko (bzw. eine zu niedrige subjektive Sicherheit) kein Problem darstellt, wird hier ange-nommen, dass auch übertriebene Vorsicht die Zielerreichung gefährden kann, wenn

7 Zur Vereinfachung wird das situative Risiko hier lediglich zweistufig betrachtet. Ein „hohes“ situatives Risiko wird dadurch definiert, dass in der gegebenen Situation ein Eingriff bzw. eine Verhaltensanpassung des Operateurs notwendig ist, um seine Aufgabe erfüllen zu können. Dementsprechend bedeutet ein niedri-ges situatives Risiko, dass der Operateur seine Handlungen wie geplant durchführen kann bzw. dass kein besonderer Eingriff notwendig ist.


z.B. von einem unerfahrenen, „übervorsichtigen“ Operateur die Leistungsfähigkeit eines Systems nicht voll ausgeschöpft wird (vgl. Adams, 2005, S.55: „Excessive pru-dence is a problem rarely contemplated in the risk and safety literature”).

Grundsätzlich kann davon ausgegangen werden, dass eine adäquate Situational Risk Awareness die Wahrscheinlichkeit für angemessene Entscheidungen und Handlungen eines Operateurs erhöht, wobei jedoch kein deterministischer Zusammenhang besteht. Erstens wird sich in hoch automatisierten Systemen eine inadäquate Situational Risk Awareness in der Regel nicht direkt in einer Fehlhandlung des Operateurs bzw. einem Leistungseinbruch bemerkbar machen. Wenn das technische System weitgehend auto-nom arbeitet und nur sehr wenige manuelle Eingriffe erfordert, ist die Leistung des MMS im Normalfall weitgehend unabhängig von der Situational Risk Awareness der Operateu-re (out-of-the-loop performance: Billings, 1991; Moray, 1986; Wickens, 1992). Probleme entstehen erst im Fall einer Störung des technischen Systems, wenn die Operateure auf-grund mangelnder Übung in der Anwendung ihres prozessbezogenen Wissens (Verler-nen) die situativen Risiken nicht mehr adäquat einschätzen können. Zweitens kann der Operateur auch mit einer adäquaten Situational Risk Awareness noch Fehler bei der Handlungsausführung begehen (z.B. slips oder lapses nach Reason, 1990). Drittens kann das situative Risiko durch nicht vom Operateur kontrollierbare Einflüsse so hoch werden, dass ein Unfall nicht zu vermeiden ist. Positiv betrachtet kann sich viertens begünstigt durch den Zufall auch ein „unvorsichtiger“ oder „übervorsichtiger“ Operateur mit einer inadäquaten Situational Risk Awareness dennoch so verhalten, dass die Ziele des MMS erreicht werden.

2.3.5 Mögliche Ursachen für eine inadäquate Situational Risk Awareness Bei der Erörterung der möglichen Ursachen für eine inadäquate SRAW stellt sich in An-lehnung an die Klassifikation menschlicher Fehlhandlungen nach Informationsmängeln von Hacker (1973) zunächst die Frage, ob die zur adäquaten Beurteilung der situativen Risiken im MMS notwendigen Informationen den Operateuren überhaupt verfügbar sind. Ist diese Voraussetzung erfüllt, lassen sich zwei Arten von Ursachen unterscheiden:

• Fehlende Nutzung von Information: Für eine adäquate Situational Risk Awareness notwendige Informationen werden vom Operateur nicht wahrgenommen: „Das unbe-absichtigte Nichterfassen tätigkeitsbedeutsamer Information kann die verschiedensten Ursachen haben. Diese können reichen von physikalischen Bedingungen (Reizmas-kierung) über (...) informationspsychologische Verursachungen (Überschreiten der aktuellen Kapazität der Informationsaufnahme) bis hin zu (...) unbeabsichtigtem Übersehen im Sinne einer ‚Verdrängung’“ (Hacker, 1973, S. 392).

• Falsche Nutzung von Information: Die Bedeutung wahrgenommener Information für das momentane situative Risiko wird vom Operateur nicht korrekt interpretiert, z.B. durch ein unangemessenes mentales Modell des Systems (z.B. Carroll & Olson,

14

19888) oder die mangelhafte Anwendung des mentalen Modells in der spezifischen Situation (z.B. durch Verlernen bei out-of-the-loop-performance, s.o.).

2.3.6 Implikationen für die Mensch-Maschine-Systemtechnik Mit dem in dieser Arbeit begründeten Konstrukt Situational Risk Awareness wird eine explizite Verbindung hergestellt zwischen theoretischen Ansätzen und Forschungsthe-men, die bislang weitgehend unabhängig voneinander verfolgt wurden: Risikobewusst-sein und Situation Awareness. Die wesentliche Implikation dieses neuen Konstrukts für die Mensch-Maschine-Systemtechnik besteht in der Frage, wie man technische Systeme so gestalten kann, dass sie die Situational Risk Awareness der Operateure unterstützen, bzw. welche Maßnahmen ergriffen werden können, um die Situational Risk Awareness der Operateure in einem bestehenden MMS zu verbessern. Damit eng verbunden ist die Frage, auf welche Weise man sicherstellen und überprüfen kann, dass Maßnahmen, die eine Verbesserung der Situational Risk Awareness bezwecken, dieses Ziel auch tatsäch-lich erreichen. Aus ingenieurwissenschaftlicher Sicht wird sich die Nützlichkeit des Kon-strukts Situational Risk Awareness daran zeigen, in wie weit es neue Impulse für die Gestaltung und die Evaluation von Mensch-Maschine-Systemen bewirken kann.

8 „A mental model is a mental structure that reflects the user’s understanding of a system” (Carroll & Olson, 1988)

Kapitel 3: Situational Risk Assessment Systeme 15

3 Situational Risk Assessment Systeme

3.1 Das Problem der Informationskluft in MMS Ein grundlegendes Gestaltungsproblem von MMS, das es den Operateuren erschwert, die situativen Risiken adäquat zu beurteilen, besteht in der wachsenden „Informationskluft“. Die rasante Entwicklung der Messtechnik und der elektronischen Datenverarbeitung in den letzten Jahrzehnten ermöglichte große Fortschritte in der Messung und Übermittlung von Daten. Diese Fortschritte bringen es mit sich, dass den Operateuren in MMS über die Benutzungsschnittstelle des technischen Systems eine immer größere Menge an immer präziseren und aktuelleren Prozessdaten präsentiert wird. Grundsätzlich verspricht dieses ständig wachsende Angebot an Daten ein großes Potenzial für eine immer akkuratere Führung des Prozesses durch die Operateure, und damit eine Verbesserung der Zielerrei-chung des MMS. Allerdings entsteht für die Operateure gleichzeitig das Problem, in der Menge an verfügbaren Prozessdaten die für ihre momentanen Ziele relevanten Informati-onen zu finden. Endsley (2000) bezeichnet dieses Problem als „Informationskluft“ (information gap, Bild 4: „Today’s systems are capable of producing a huge amount of data, both on the status of their own components, and on the status of the external environment (...). The problem with today’s systems is not a lack of information, but finding what is needed when it’s needed”, Endsley, 2000, S. 3). Andere Autoren verwen-den in diesem Zusammenhang die Begriffe Datenüberlastung (data overload: z.B. Woods et al., 2002), Informationsüberlastung (Komischke, 2006) bzw. Informationsinput-überlastung (information input overload: Hollnagel et al., 2000).

Bild 4: Informationskluft in MMS (aus Endsley, 2000; Übs. BG)

Wenn ein technisches System mehr und/oder präzisere Prozessdaten präsentiert, ist dies nicht gleichbedeutend damit, dass es auch mehr Informationen bietet, die zur Zieler-reichung nützlich sind. Stattdessen kann es für die Operateure sogar schwieriger werden, die relevanten Daten zu finden, zu sortieren, zu integrieren und zu verarbeiten, um an die Informationen zu kommen, die sie für die Aufgabenerfüllung benötigen. Ein wichtiger Teil dieser Informationen sind die situativen Risiken.

16

3.1.1 Allgemeine Lösungsansätze Woods et al. (2002) diskutieren unterschiedliche Ansätze für die Gestaltung der Mensch-Maschine-Schnittstelle, um das Problem der Informationskluft zu überwinden:

• Reduktion der Anzahl von Daten, die auf einem einzelnen Display oder Monitor dar-gestellt werden.

• Statische Priorisierung der Daten, d.h. die Anzeigen werden so gestaltet, dass die wichtigen Daten hervorgehoben sind, unwichtigere Daten werden verborgen oder un-tergeordnet.

• Entwicklung „intelligenter“ Technologien, um die Auswahl der relevanten Daten dynamisch zu unterstützen.

Allerdings kommen Woods et al. (2002) zu dem Schluss, dass diese Ansätze bisher insgesamt noch zu keiner überzeugenden Lösung des Problems der Informationskluft geführt haben, und im Endeffekt häufig eher zusätzliche Anforderungen an die Benutzer verursachen: „In practice, new rounds of technology development become yet another voice in the data cacophony around us“ (S. 23):

• Werden die Daten auf mehrere einzelne Displays oder Fenster der Benutzungsober-fläche verteilt, so führt dies dazu, dass sich für die Benutzer nun erhöhte Anforderun-gen an die Suche zwischen unterschiedlichen Fenstern und die mentale Integration der verteilten Daten ergeben, da auf der Oberfläche der Anzeigen nur noch ein Aus-schnitt der verfügbaren Daten sichtbar ist. Sheridan (1992) bezeichnet dies als den „Schlüsselloch-Effekt“ (keyhole effect).

• Die statische Priorisierung ist in vielen Fällen kein geeigneter Ansatz, da die Rele-vanz von Daten für die Aufgabenerfüllung im MMS kontextabhängig ist: „There are no facts of fixed significance“ (Woods et al., 2002, S. 27). Welche Prozessdaten für einen Operateur bedeutsam sind, verändert sich in Abhängigkeit von dem momen-tanen Zustand, der vorhergegangenen Entwicklung sowie von den Erwartungen des Operateurs über die mögliche weitere Entwicklung des Prozesses.

Daher erscheint die Entwicklung einer „intelligenten“ Technologie zur dynamischen Bewertung der Prozessdaten grundsätzlich das größte Potenzial für die Verringerung der Informationskluft zu haben. Die Herausforderung besteht darin, ein technisches Unter-stützungssystem zu entwickeln, das in einer komplexen, sich verändernden Umgebung die für die Operateure bei der Aufgabenbearbeitung relevanten Daten konsistent und kor-rekt identifiziert.

3.1.2 Technische Unterstützung der Situational Risk Awareness Ein möglicher Ansatzpunkt für die Entwicklung eines „intelligenten“, technischen Sys-tems, das Prozessdaten kontinuierlich bewertet, ist die Orientierung auf die Situational Risk Awareness der Operateure. Wenn es gelingt, die Bewertung situativer Risiken in


einem technischen System abzubilden, d.h. die situative Risikobewertung zu automatisie-ren, kann dies eine Brücke schlagen zwischen den rohen Prozessdaten und den Informa-tionserfordernissen der Operateure, um die Informationskluft zu überwinden. Die Be-rechnung situativer Risiken durch ein technisches System bietet eine auf den momenta-nen Aufgabenkontext bezogene Integration und Bewertung zahlreicher einzelner Daten hinsichtlich ihrer Relevanz für die Entscheidungsprozesse der Operateure. Mit einem solchen Unterstützungssystem könnte das Design-Ziel einer adäquaten Situational Risk Awareness der Operateure erreicht werden.

Allgemein wird ein Unterstützungssystem definiert als ein „informationsverarbeiten-des technisches Gebilde, das die Aufgabenerfüllung der Operateure in einem Mensch-Maschine-System dadurch fördert, dass es bestimmte, für seine Zielerreichung notwendi-ge Teilaufgaben innerhalb seiner Gesamtaufgabe übernimmt und/oder ausführt“ (Hauß & Timpe, 2002, S.50). In der vorliegenden Arbeit werden die Begriffe Unterstützungs-system und Assistenzsystem synonym verwendet. In Anlehnung an Kraiss (1990) und Timpe (1998) schlägt Wandke (2005) vor, Assistenzsysteme entsprechend der Hand-lungsphase zu kategorisieren, die sie beim Menschen unterstützen. Dabei unterscheidet er sechs Handlungsphasen (Bild 5).

Bild 5: Phasen der menschlichen Informationsverarbeitung (Wandke, 2005) (Übs. BG)

Für jede dieser sechs Handlungsphasen führt Wandke (2005) Beispiele an, auf welche Weise sie durch technische Systeme unterstützt werden kann. Als eine Komponente der Situation Awareness ist die Situational Risk Awareness der dritten Phase dieser Taxono-mie zuzuordnen. Wandke (2005) nennt für diese Phase die folgenden Möglichkeiten der technischen Unterstützung:

• Kennzeichnungsassistenz (labelling assistance): z.B. Beschriftungen, Legenden (ohne Berücksichtigung des momentanen Benutzungskontexts)

• Übersetzungsassistenz (interpreter assistance): Sprachliche Übersetzung (für anders-sprachige Nutzer)

• Erklärungsassistenz (explanation assistance): Kontextabhängige Zusatzinforma-tionen, die sich an den momentanen Intentionen und dem Vorwissen der Nutzer ori-entieren (z.B. Hilfesysteme, elektronische Manuals, Demo-Systeme).

Auch wenn es sich hier lediglich um Beispiele ohne Anspruch auf Vollständigkeit handelt, fällt auf, dass die angeführten Assistenzfunktionen eher simpel und auf Anwen-

18

dungsbereiche mit relativ niedriger Komplexität und geringer Dynamik bezogen zu sein scheinen. Am ehesten könnte ein System zur Bewertung situativer Risiken als Erklä-rungsassistenz betrachtet werden, da situative Risiken kontextabhängig sind. Allerdings wird die Funktionalität eines Systems, das die Operateure in einem dynamischen MMS kontinuierlich bei der Risikobewertung unterstützt, mit dem Begriff Erklärungsassistenz nur sehr unscharf beschrieben. Daher erscheint es angemessen, „Situational Risk Aware-ness Assistenz“ als eine spezielle Unterkategorie dieser Taxonomie hinzuzufügen. Im Folgenden werden derartige Assistenzsysteme, die auf eine Unterstützung der Situational Risk Awareness der Operateure abzielen, als Situational Risk Assessment Systeme (SRA-Systeme) bezeichnet.

3.2 Definition von SRA-Systemen Ein Situational Risk Assessment System (SRA-System) ist ein Unterstützungssystem, das situative Risiken in einem Mensch-Maschine-System (MMS) dynamisch berechnet und den Operateuren übermittelt. Als Input zur Risikoberechnung verwendet ein SRA-System Prozessdaten, die von den Sensoren der Maschine erfasst werden (Bild 6). Bei den Prozessdaten kann es sich neben Messwerten des technischen Systems auch um Pa-rameter handeln, die sich auf den Zustand der Operateure (z.B. Augenbewegungen, Herz-rate) oder der Umgebung des MMS (z.B. Wetter, Lichtverhältnisse) beziehen.

Bild 6: MMS mit SRA-System

Ein SRA-System besteht aus zwei Subsystemen (vgl. Meyer, 2004):

• Risikoberechnung: Durch ein Risikomodell, das festgelegte Algorithmen beinhaltet, werden die Prozessdaten in situative Risikowerte umgewandelt. Dabei werden zur Berechnung eines Risikowerts immer mehrere Prozessparameter zusammengefasst, d.h. durch die Risikoberechnung findet eine Integration und Bewertung der Prozess-daten statt;


• Risikoübermittlung: Die vom Risikomodell berechneten Werte werden über die Mensch-Maschine-Schnittstelle (human-machine interface, HMI) an die Operateure übermittelt. Die Risikoübermittlung durch ein neu in ein vorhandenes MMS imple-mentiertes SRA-System kann (1) durch das Hinzufügen einer neuen Anzeigekompo-nente (z.B. separates Display zur Risikobewertung) und/oder (2) durch die Umgestal-tung bestehender Anzeigekomponenten (z.B. situative Risikobewertung integriert in den Monitor eines Radargeräts oder eines Prozessleitsystems) realisiert werden.

Seit einigen Jahren werden in den unterschiedlichsten Anwendungsbereichen techni-sche Lösungen entwickelt, die sich als SRA-Systeme klassifizieren lassen, z.B. Safety Parameter Display Systems in Kernkraftwerken (Porsmyr, 2004), Control Performance Monitoring Systems für verfahrenstechnische Anlagen (Pfeiffer, 2005), allgemeine Risi-kobewertungssysteme (Gijsel, 2006) und Müdigkeitserkennungssysteme im Kraftfahr-zeug (Karnahl et al., 2004; Karrer et al., in Druck) oder integrierte Displays zur Lagebe-wertung und Luftraumüberwachung in der Marine (Schmidt & Grandt, 2006).

3.2.1 Abgrenzung zu dynamischen Warnsystemen Prinzipiell könnten auch dynamische Warnsysteme (alert systems: Pritchett, 2001, bzw. dynamic hazard warning systems: Meyer, 2004) als SRA-Systeme betrachtet werden, da sie die Operateure vor Ereignissen warnen, die ihre Zielerreichung beeinträchtigen. Prit-chett (2001) definiert ein dynamisches Warnsystem9 als ein elektro-mechanisches Sys-tem, das Bedingungen überwacht, entdeckt und meldet, von denen antizipiert wurde, dass sie die kurzfristigen Handlungen der Operateure beeinflussen. Aus technischer Sicht un-terscheidet Pritchett (2001) drei verschiedene Typen von dynamischen Warnsystemen:

• Ein Signal-Detektor (signal-detector) überwacht den Input aus einem einzelnen Sen-sor. Bei Überschreiten eines bestimmten Schwellenwerts erfolgt eine Meldung (z.B. auditiv) an die Operateure. Häufig wird der Input des Sensors im HMI auch über ein zusätzliches, permanentes Display angezeigt. Damit erfüllt der Signal-Detektor die Funktion eines automatisierten Hinweises auf das Erreichen des „roten Bereichs“ ei-nes einzelnen Prozessparameters.

• Ein Gefahren-Detektor (hazard-detector) erhält Signale von mehreren Sensoren und verarbeitet diesen Input, um explizit oder implizit ein Maß für die Gefahr abzuleiten (z.B. time-to-accident oder hazard-probability). Dieses Maß wird mit einer vordefi-nierten Gefahrenschwelle verglichen, bei Überschreitung der Schwelle erfolgt eine Meldung an die Operateure.

9 Von dynamischen Warnsystemen, die vor situativen Risiken warnen, sind statische Warnsysteme abzu-grenzen, die vor generellen Risiken warnen (z.B. Warnschilder).

20

• Ein Gefahren-Löser (hazard-resolver) weist die Operateure mit dem Alarm auf eine konkrete Lösung (z.B. Manöver, Eingriff) hin, die das Warnsystem berechnet hat. Diese Lösung wird den Operateuren vom System empfohlen oder sogar angeordnet.

Somit unterscheidet sich ein Gefahren-Detektor von einem Signal-Detektor im We-sentlichen darin, dass er aufgrund des Inputs aus mehreren Sensoren ein integriertes Maß berechnet. Der Unterschied zwischen einem SRA-System und einem Gefahren-Detektor besteht in der primären Funktion des Systems für die Operateure. Hier lassen sich allge-mein vier Stufen technischer Assistenz unterscheiden (vgl. Haller, 200110):

• Informieren

• Warnen

• Entscheiden (Handlungsoption vorschlagen)

• Eingreifen (Handlung ausführen).

Während die primäre Funktion eines SRA-Systems darin besteht, die Operateure über die situativen Risiken zu informieren, indem es einen permanenten Zugang zu den Risi-kowerten ermöglicht, soll ein Gefahren-Detektor explizit warnen. Ein Gefahren-Löser kann bereits Ansätze eines automatischen Entscheidens und Eingreifens realisieren (Handlungsoption vorschlagen und ausführen). Prinzipiell könnte auch ein SRA-System aufgrund seiner Risikoberechungen warnen oder bestimmte Handlungsoptionen vor-schlagen, so dass die wesentliche Abgrenzung zu dynamischen Warnsystemen darin be-steht, dass ein SRA-System nicht immer mit einer expliziten Warnung verbunden sein muss (Bild 7). Dementsprechend ist ein Gefahren-Detektor/-Löser nur dann ein SRA-System, wenn er den Benutzern einen kontinuierlichen Zugang zu den berechneten Risi-ko- bzw. Gefahrenwerten erlaubt. Ein SRA-System zielt in erster Linie darauf ab, die Situational Risk Awareness der Operateure zu verbessern, damit diese selbst die Ent-scheidung über die der momentanen Situation angemessene Handlung treffen können. Ein Warnsystem zielt in erster Linie darauf ab, die Operateure dazu zu bringen, eine vom technischen System mehr oder weniger vorgegebene Handlungsoption auszuführen. Pointiert ausgedrückt: Ein SRA-System soll die Operateure eher dazu befähigen, selbst zu agieren. Auf ein Warnsystem sollen die Operateure in der Regel reagieren.

10 Die von Haller (2001) angeführte Möglichkeit der Verantwortungsübernahme durch das technische Sys-tem (höchste Stufe / Vollautomatisierung) soll an dieser Stelle ausgeblendet werden.


Bild 7: Abgrenzung von SRA-Systemen zu dynamischen Warnsystemen

Neben diesem Unterschied in der Funktion weisen Gefahren-Detektoren/-Löser und SRA-Systeme die wesentliche Gemeinsamkeit auf, dass sie mit der „Gefahr“ bzw. dem „situativen Risiko“ Konstrukte berechnen, bei denen technisch-physikalische Daten aus mehreren Sensoren integriert werden.

3.2.2 Funktion und Rollen von SRA-Systemen Die Funktion eines SRA-Systems besteht darin, die Situational Risk Awareness der Ope-rateure in MMS zu unterstützen, indem es (1) mögliche Abweichungen des subjektiven vom objektiven situativen Risiko (inadäquate Situational Risk Awareness) oder (2) mög-liche Unsicherheiten der Operateure bei der Beurteilung der situativen Risiken verringert bzw. beseitigt. Die inadäquate Situational Risk Awareness kann entweder darin bestehen, dass die Operateure die situativen Risiken (1a) unterschätzen (Übersehen von Gefahren) oder (1b) überschätzen (unnötige Nervosität) (s. 2.3.4). Es kann davon ausgegangen wer-den, dass in erster Linie unerfahrene Operateure (z.B. Auszubildende, Anfänger) von Unsicherheiten bei der Risikobeurteilung (2) und unnötiger Nervosität (1b) betroffen sind. Neben diesen eher auf spezielle Gruppen von Operateuren bezogenen Funktionen besteht die Hauptfunktion eines SRA-Systems ähnlich wie bei einem Warnsystem in der Regel darin, das Übersehen von Gefahren (1a) zu verhindern, d.h. dazu beizutragen, dass die Operateure sich entwickelnde situative Risiken früher und/oder genauer erkennen. Idealtypisch läuft die Unterstützung eines Operateurs durch ein SRA-System in den fol-genden Schritten ab11:

1. Wahrnehmen: Der Benutzer richtet seine Aufmerksamkeit auf das HMI des SRA-Systems und nimmt dort ein hohes situatives Risiko wahr.

2. Vergleichen: Der Benutzer vergleicht das Risiko des SRA-Systems mental mit sei-nem eigenen situativen Risikourteil und stellt fest, dass eine Diskrepanz vorliegt.

3. Verstehen: Der Benutzer erkennt die Ursache der Diskrepanz. Möglicherweise muss er dafür nach weiteren Informationen im HMI des SRA-Systems oder des übrigen

11 Selbstverständlich handelt es sich hierbei um eine stark schematische Darstellung, bei der die komplexen Interaktionen zwischen Aufmerksamkeit/Wahrnehmung und Entscheidung/Handlung (im „Wahrneh-mungs-Handlungs-Zyklus“, vgl. Neisser, 1976) aus Gründen der Anschaulichkeit vernachlässigt werden.

22

technischen Systems suchen (Aufmerksamkeitszuwendung / gezielte Suche). Ergeb-nis dieses Schrittes ist, dass das situative Risikourteil des Benutzers jetzt mit dem vom SRA-System vermittelten situativen Risiko übereinstimmt.

4. Entscheiden: Der Benutzer trifft nun seine Entscheidungen entsprechend seiner ver-besserten Situational Risk Awareness.

Da die Situational Risk Awareness sowohl die Aufmerksamkeitszuwendung als auch die Bewertung von Handlungsoptionen beim Entscheiden beeinflusst (vgl. 2.3.3, 2.3.4), können SRA-Systeme im Wesentlichen zwei unterschiedliche Rollen erfüllen:

• Aufmerksamkeitsassistenz: Lenkung der Aufmerksamkeit auf für das situative Ri-siko relevante Informationselemente, die der Operateur nicht wahrgenommen oder nicht korrekt interpretiert hatte.

• Entscheidungsassistenz: Beeinflussung des Entscheidungsprozesses durch Verände-rung der Bewertung einer geplanten Handlungsoption, um eine mit einem zu hohen Risiko verbundene Entscheidung des Operateurs zu verhindern.

3.3 Forschungsfragen zu SRA-Systemen Die grundlegende Fragestellung zu SRA-Systemen besteht darin, wie man es erreichen kann, dass ein solches Assistenzsystem eine wirkungsvolle Unterstützung der Situational Risk Awareness der Operateure leistet. Entsprechend den beiden wesentlichen Kompo-nenten eines SRA-Systems (s. 3.2) ergeben sich dabei zwei zentrale Forschungsthemen:

• Risikoberechnung: Wie können die situativen Risiken in einem MMS modelliert werden?

• Risikoübermittlung: Wie sollte die Mensch-Maschine-Schnittstelle (HMI) eines SRA-Systems gestaltet werden?

Allerdings sind allgemein gültige Antworten auf diese inhaltlichen Fragestellungen, die auf die Ableitung konkreter Hinweise für die bestmögliche Gestaltung eines SRA-Systems abzielen, zum gegenwärtigen Zeitpunkt nicht absehbar. Die Schlussfolgerungen über den Stand der Forschung zu dynamischen Warnsystemen von Meyer (2004) sind auch als Ausgangspunkt für die Analyse von SRA-Systemen relevant:

• Trotz der großen Verbreitung von dynamischen Warnsystemen ist es derzeit nicht möglich, pauschal vorherzusagen, wie ein spezifisches Warnsystem tatsächlich von den Operateuren genutzt wird („In spite the abundance of dynamic warning systems, researchers are still unable to predict how users will respond to information from a specific warning system”: Meyer, 2004, S. 196).

• Dynamische Warnsysteme haben komplexe Auswirkungen auf das Verhalten der Operateure und sind als Komponenten des übergeordneten technischen Systems zu betrachten. Deshalb sollten sie nicht isoliert, sondern immer im Aufgabenkontext des gesamten MMS untersucht werden.


Grundsätzlich gibt es zahlreiche Möglichkeiten, die situativen Risiken in einem MMS zu berechnen (z.B. neuronale Netze, multiple Regression, maschinelles Lernen, Fuzzy Logik, Entscheidungsbäume) und zu übermitteln (hier stellen sich z.B. Fragen hinsicht-lich Modalität und Skalierung der situativen Risiken im HMI). Welche Methoden der Risikoberechnung und welche Formen der Risikoübermittlung in einem konkreten MMS am besten geeignet sind, wird neben einzelfallspezifischen Merkmalen auch von domä-nespezifischen Charakteristika abhängen wie beispielsweise Dynamik des Prozesses (Zeitkonstanten der Prozessvariablen), Komplexität des Prozesses (Anzahl der Prozess-variablen, Wechselbeziehungen zwischen Prozessvariablen), Häufigkeit und Art der Ein-griffe der Operateure, Qualifikation der Operateure, Variabilität der Umgebung.

Als Ausgangspunkt zur Suche nach generalisierbaren Antworten für die oben genann-ten Forschungsfragen, die sich auf die Ableitung konkreter Gestaltungshinweise bezie-hen, stellt sich aus dem Blickwinkel der Entwicklungsmethodik die Frage nach einer ge-eigneten Vorgehensweise für die Gestaltung und Bewertung eines SRA-Systems:

• Entwicklung und Evaluation: Wie sollte der Entwicklungsprozess von SRA-Systemen strukturiert werden? Wie können SRA-Systeme im Entwicklungsprozess evaluiert werden?

Die zentrale Bedeutung der Evaluation wird auch von Moray (1997) betont, der viele innovative Gestaltungsansätze im Bereich der Mensch-Maschine-Schnittstelle von Pro-zessleitsystemen als viel versprechend aber unausgereift beurteilt („promising but imma-ture technologies“, S. 1958), wobei ein häufige Manko in der unzureichenden Evaluation der neuen Technologien bestehe: „Evaluation is, in a time of rapid innovation, the key to safety and efficiency“ (S. 1969). Überträgt man diese allgemeine Erkenntnis auf SRA-Systeme, die ebenfalls als neuartige Gestaltungselemente von Mensch-Maschine-Schnittstellen zu betrachten sind, so erscheint es notwendig, als Basis für die Forschung zu und die prospektive Evaluation von SRA-Systemen zunächst ein allgemeines Rah-menkonzept zu entwickeln. Ein solches Rahmenkonzept bietet Orientierung, welche Fra-gen sich bei der Evaluation eines SRA-Systems stellen, und mit welchen Methoden diese Fragen untersucht werden können. Auf dieser Grundlage kann die Übertragbarkeit eines spezifischen SRA-Systems auf andere Anwendungsbereiche analysiert werden, so dass aus einem Einzelfall die allgemeine Abschätzung der Möglichkeiten und Grenzen dieser bestimmten Gestaltungslösung für SRA-Systeme möglich wird.

24

4 Rahmenkonzept zur Evaluation von SRA-Systemen

4.1 Ziele und Kontext der Evaluation Allgemein werden zwei Funktionen der Evaluation unterschieden (z.B. Hamborg & Ge-diga, 2006; Tergan, 2000; Wottawa & Thierau, 2003):

• Formative Evaluation zielt darauf ab, während der Entwicklung eines Systems bzw. Produkts mögliche Schwachstellen und Optimierungsansätze zu identifizieren, d.h. sie dient der Qualitätssicherung.

• Summative Evaluation zielt darauf ab, den Nutzen bzw. die Auswirkungen eines fertig gestellten Systems bzw. Produkts zu bewerten, d.h. sie dient der Qualitätskon-trolle.

Auch wenn diese Unterscheidung zur Charakterisierung des primären Ziels und der grundlegenden Ausrichtung einer Evaluation zweckmäßig ist, kann letztlich keine klare Grenze zwischen diesen beiden Funktionen gezogen werden. Einerseits werden bei der formativen Evaluation Kriterien benötigt, um zu überprüfen, in wie weit überhaupt ein Optimierungsbedarf besteht, d.h. die in dem jeweiligen Stadium des Entwicklungspro-zesses erreichte Qualität muss auch hier kontrolliert werden. Andererseits impliziert ein bei der summativen Evaluation festgestellter Qualitätsmangel in der Regel auch Ansätze zu seiner Verbesserung (sofern nicht die komplette Abschaffung bzw. Außerbetriebnah-me des Evaluationsgegenstandes angemessen erscheint). Im Folgenden wird der Schwer-punkt auf die entwicklungsbegleitende Evaluation von SRA-Systemen gelegt, d.h. die formativen Aspekte stehen im Vordergrund.

4.1.1 Entwicklungsprozess von SRA-Systemen Die Entwicklung eines Unterstützungssystems ist eine interdisziplinäre Herausforderung (Timpe, 1998), die die Zusammenarbeit von technischen Entwicklern, Human Factors Spezialisten12 und Domäneexperten erfordert. Um eine möglichst optimumnahe Gestal-tung des Unterstützungssystems zu erreichen, sollte in einem parallel-iterativen Ansatz (z.B. Timpe & Kolrep, 2002) während des gesamten Entwicklungsprozesses die Gestal-tung der Aufgaben der Menschen (Operateure) im MMS parallel zur Gestaltung des technischen Systems angegangen werden. Dabei spielt die Evaluation eine zentrale Rolle für die iterative Optimierung des Systems (Bild 8).

12 Unter der Bezeichnung Human Factors Spezialisten werden hier Experten für die Berücksichtigung hu-manwissenschaftlicher (kognitiver, ingenieurpsychologischer, ergonomischer u.a.) Aspekte bei der Entwicklung und Gestaltung von Mensch-Maschine-Systemen verstanden: „Human Factors Engineering (…) is concerned with ways of designing machines, operations, and work environments so that they match human capabilities and limitations” (Chapanis, 1965, S. 8).

Kapitel 4: Rahmenkonzept zur Evaluation von SRA-Systemen 25

Bild 8: Parallel-iterativer Entwicklungsprozess für SRA-Systeme

Der Entwicklungsprozess eines SRA-Systems lässt sich in drei Phasen gliedern:

1. Konzeption: Im Blickpunkt stehen hier die Realisierbarkeit, die Festlegung der Funktionalität und die Folgenabschätzung für das zu entwickelnde SRA-System. Zu Beginn ist zu klären, in wie weit in dem betreffenden MMS ein Bedarf nach einer Unterstützung der Situational Risk Awareness der Operateure besteht. Gleichzeitig ist zu untersuchen, welche methodischen Ansätze zur Modellierung der situativen Risi-ken in dem betreffenden MMS geeignet erscheinen. Als Ergebnis dieser Phase liegt ein Konzept für das SRA-System vor, das formativ evaluiert und entsprechend der Evaluationsergebnisse optimiert wird.

2. Entwicklung / Detailentwurf: Die Erstellung des Risikomodells bildet den Kernbe-reich der technischen Entwicklung eines SRA-Systems. In der Regel beinhaltet diese Phase umfangreiche Arbeiten (Wissensakquisition, Modellierung, Validierung) und ist mit einem sehr hohen Aufwand verbunden. Parallel dazu wird die Benutzungs-schnittstelle (HMI) entwickelt. Den Abschluss dieser Phase bildet die formative Eva-luation eines voll funktionsfähigen Prototyps des SRA-Systems, in dem die beiden wesentlichen Subsysteme zur Risikoberechnung (Risikomodell) und Risikoübermitt-lung (HMI) integriert sind. Auf Grundlage der Evaluationsergebnisse wird das Sys-tem wiederum optimiert und für die Implementierung fertig gestellt.

26

3. Implementierung: Nach Inbetriebnahme des SRA-Systems sollten seine Auswir-kungen in der Praxis summativ evaluiert werden, um zu überprüfen, ob das System seinen Zweck erfüllt, und gegebenenfalls Möglichkeiten zu seiner weiteren Optimie-rung zu identifizieren.

4.1.2 Grundannahmen zur Evaluation von SRA-Systemen Als Ausgangspunkt für die Festlegung der Kriterien, die bei der entwicklungs-begleitenden Evaluation von SRA-Systemen zu überprüfen sind, werden zwei grundle-gende Annahmen getroffen:

• Die Effektivität eines SRA-Systems hängt ab von der Qualität seiner beiden Sub-systeme Risikoberechnung und Risikoübermittlung (vgl. Meyer, 2004).

• Die Akzeptanz der Benutzer ist eine notwendige Voraussetzung dafür, dass ein Assis-tenzsystem eine effektive Unterstützung leisten kann. Die Akzeptanz wird wesentlich beeinflusst durch die wahrgenommene Qualität des Assistenzsystems (z.B. Parasu-raman & Riley, 1997; Pritchett, 2001).

Diese Annahmen beinhalten vier übergeordnete Kriterien-Bereiche der Evaluation: (1) Güte der Risikoberechnungen, (2) Gestaltung der Risikoübermittlung (Benutzungs-schnittstelle, HMI), (3) Akzeptanz des SRA-Systems und (4) Effektivität der SRA-Assistenz. Die Zusammenhänge zwischen diesen Kriterien-Bereichen lassen sich in einer zentralen Grundannahme zusammenfassen (Bild 9):

Bild 9: Angenommene Zusammenhänge zwischen den Kriterien-Bereichen der Evaluati-on von SRA-Systemen

• Die Effektivität eines SRA-Systems hängt ab von der Qualität seiner beiden Subsys-teme Risikoberechnung und Risikoübermittlung, sowie von der Akzeptanz durch die Benutzer, die ihrerseits von der wahrgenommenen Qualität der Subsysteme beein-flusst wird. Ein SRA-System wird nur dann effektiv sein, d.h. den Operateuren im MMS eine wirkungsvolle Assistenz leisten, wenn:

- sein Risikomodell eine hohe Güte aufweist,

- seine Mensch-Maschine-Schnittstelle (HMI) angemessen gestaltet ist, und


- die Operateure das System akzeptieren.

4.2 Güte der Risikoberechnungen Eine hohe Güte der Risikoberechnungen bedeutet, dass das von dem Risikomodell des SRA-Systems berechnete situative Risiko das objektive situative Risiko gut abbildet bzw. idealerweise mit ihm identisch ist. Auch wenn diese Anforderung auf den ersten Blick trivial erscheinen mag, ist zu berücksichtigen, dass (1) Risiko als eine auf die Zukunft bezogene Größe immer eine gewisse Unschärfe beinhaltet und (2) ein SRA-System in einem komplexen, dynamischen MMS in der Regel nur einen eingeschränkten Geltungs-bereich haben kann, d.h. das SRA-System wird nicht alle prinzipiell möglichen schädi-genden Ereignisse für das MMS erkennen bzw. vorhersagen können.

Auf die Grenzen der Vorhersagbarkeit der Prozesse in komplexen MMS verweisen auch die Schlagworte „unmögliche Unfälle“ (impossible accidents: Wagenaar & Groe-neweg, 1988) und „normale Katastrophen“ (normal accidents: Perrow, 1989). Wagenaar und Groeneweg (1988) ziehen aus einer umfassenden Analyse von Seeunfällen den Schluss, dass die meisten der untersuchten Unfälle aus einer komplexen, kaum antizi-pierbaren Verkettung zufälliger Ereignisse resultierten. Perrow (1989) betrachtet das Verhalten komplexer, eng gekoppelter Systeme grundsätzlich als nicht vollständig vor-hersagbar und das Eintreten von Unfällen damit längerfristig als unvermeidlich.

Bild 10: Klassifikationsgüte des Risiko-Modells eines SRA-Systems

Daher muss die Möglichkeit erwogen werden, dass die situativen Risikowerte des SRA-Systems nicht immer mit dem objektiven situativen Risiko übereinstimmen, d.h. dass das SRA-System nicht alle Situationen korrekt entsprechend ihrem „tatsächlichen Risikogehalt“ klassifizieren wird. Es ist grundsätzlich damit zu rechnen, dass die Klassi-fikationsgüte eines SRA-Systems nicht perfekt ist. Das SRA-System wird neben korrek-

28

ten hohen und niedrigen Risikowerten auch Auslassungen und Fehlalarme13 produzieren (Bild 10).

4.2.1 Fragestellungen und Kriterien Vor diesem Hintergrund ergeben sich zwei grundlegende Fragestellungen bezüglich der Güte der Risikoberechnungen eines SRA-Systems:

1. Risiko-Konstrukt: Wie eindeutig lassen sich die situativen Risiken in dem MMS prinzipiell bestimmen?

2. Risiko-Modell: Wie gut bilden die Algorithmen des SRA-Systems diese situativen Risiken ab?

Zur Beurteilung dieser Fragestellungen erscheinen zunächst allgemeine Testgütekrite-rien für theoretische Konstrukte (vgl. Bortz & Döring, 2005) relevant:

• Die Reliabilität bezeichnet den Grad der Genauigkeit (bzw. das Ausmaß an Unschär-fe), mit dem die situativen Risiken bestimmt werden können. Dabei ist entsprechend den genannten Fragestellungen sowohl die „prinzipielle“ Reliabilität des Risiko-Konstrukts in dem betreffenden MMS als auch die „spezielle“ Reliabilität des evalu-ierten Risiko-Modells zu bestimmen.

• Die Validität bezeichnet das Ausmaß, in wie weit das Risiko-Modell tatsächlich si-tuative Risiken und nicht andere Faktoren berechnet.

Zur Bewertung der Klassifikationsgüte des Risiko-Modells sollten zudem zwei weite-re zentrale Indikatoren betrachtet werden (vgl. Bild 10):

• Die Rate an Auslassungen bezieht sich darauf, in wie weit das Risiko-Modell hohe objektive Risiken auch erkennt.

• Die Rate an Fehlalarmen bezieht sich darauf, in wie weit hohe Risikowerte des Risi-ko-Modells auch hohe objektive Risiken repräsentieren.

4.2.2 Methodischer Ansatz Geht man davon aus, dass erfahrene Operateure (Experten) unter idealen Voraussetzun-gen (vollständiger Überblick über die Prozessdaten, kein Zeitdruck) dazu in der Lage sind, die situativen Risiken des MMS korrekt einzuschätzen, bietet es sich an, Experten-urteile zur Ermittlung der Güte der Risikoberechnungen eines SRA-Systems zu verwen-den. Allgemein schlägt Timpe (1998) vor, für die Validierung des Wissenskörpers eines Unterstützungssystems nach dem Konsens-Prinzip vorzugehen. Dabei wird die Wissens-basis des Systems mit einem Kreis von Experten des betreffenden Gebiets diskutiert und

13 Auch wenn das SRA-System per definitionem nicht unbedingt einen expliziten Alarm geben muss (s. 3.2.1), wird hier der allgemein gebräuchliche Begriff Fehlalarm für fälschlicherweise vom SRA-System als zu hoch bewertete situative Risiken beibehalten.


daraufhin so angepasst, dass sie schließlich die geteilte Meinung der Experten abbildet. Allerdings handelt es sich bei dem Konsens-Prinzip um ein rein qualitatives Kriterium, so dass messbare Mindestanforderungen für die Güte der Wissensbasis kaum festgelegt werden können. Da situative Risiken als – wenn auch unscharfe – Wahrscheinlichkeiten (s. 2.1.2) zumindest auf ordinalem Skalenniveau quantifiziert werden können14, besteht für SRA-Systeme grundsätzlich die Möglichkeit, Kennzahlen für die Güte des Risiko-Modells zu bestimmen.

So lässt sich sowohl die „prinzipielle“ Reliabilität des Risiko-Konstrukts in einem MMS als die Übereinstimmung der Risikourteile (Inter-Rater Reliabilität) zwischen meh-reren Experten berechnen, als auch die „spezielle“ Reliabilität des Risiko-Modells als Übereinstimmung zwischen den Urteilen der Experten und den Risikowerten des Sys-tems. Auch Auslassungen und Fehlalarme des Risiko-Modells können über den Ver-gleich mit Expertenurteilen quantifiziert werden.

Neben diesen quantitativen Kriterien sollte die Inhaltsvalidität (vgl. Bortz & Döring, 2005) als ein qualitatives Kriterium der Güte der Risikoberechnungen betrachtet werden. Unter die Inhaltsvalidität fallen die Aspekte des Verstehens bzw. der Plausibilität und Nachvollziehbarkeit der Berechnungen des Risikomodells für die Operateure. Es kann angenommen werden, dass eine hohe Inhaltsvalidität die Akzeptanz des SRA-Systems positiv beeinflusst (s. 4.4).

4.3 Gestaltung der Benutzungsschnittstelle Bei der Evaluation der Gestaltung der Benutzungsschnittstelle (HMI) handelt es sich um den üblichen Kernbereich der Aufgaben von Human Factors Spezialisten (s.o.) im Sys-tementwicklungsprozess. Als wesentliches Kriterium hat sich in diesem Zusammenhang der Begriff der Gebrauchstauglichkeit (usability) etabliert. Zu diesem Themenbereich liegen zahlreiche allgemeine Richtlinien, Normen, Checklisten und Vorgehensmodelle vor (z.B. DATech, 2006a, 2006b; Dzida & Wandke, 2006; DIN EN ISO 9241-11; DIN EN ISO 9241-110; DIN EN ISO 13407; Mayhew, 1999; Nielsen, 1994; Nielsen & Mack, 1994). An dieser Stelle werden lediglich die für SRA-Systeme spezifischen Aspekte der HMI-Gestaltung aufgegriffen.

4.3.1 Fragestellungen und Kriterien Die spezifischen Fragestellungen für die Evaluation des HMI eines SRA-Systems bezie-hen sich auf die Übermittlung der Risikowerte, sowie gegebenenfalls der weiteren durch das System ausgegebenen Informationen:

1. Werden die vom SRA-System berechneten situativen Risikowerte den Benutzern auf eine adäquate Weise präsentiert?

14 Auch qualitative Kategorien situativer Risiken (z.B. „hohes“, „mittleres“, „niedriges“ Risiko) können in eine eindeutige Rangreihe gebracht werden.

30

2. Sind die Erklärungskomponenten des SRA-Systems (wenn vorhanden) gebrauchs-tauglich gestaltet?

Neben diesen („isoliert“) auf das HMI des SRA-Systems fokussierten Fragen, sollte die Gestaltung auch (integriert) im Kontext des gesamten HMI des MMS betrachtet wer-den:

3. Ist die Integration der Anzeige der situativen Risikowerte in das HMI des Gesamt-systems gelungen?

Die Kriterien, die auf dieser Evaluationsstufe berücksichtigt werden sollten, lassen sich aus den idealtypisch beschriebenen Schritten bei der Interaktion mit einem SRA-System ableiten (vgl. 3.2.2):

• Wahrnehmbarkeit: Ist das HMI so gestaltet, dass die situativen Risikowerte eine angemessene Salienz besitzen, d.h. heben sich die SRA-Werte ausreichend ab?

• Unterscheidbarkeit: Unterstützt die HMI-Gestaltung die Differenzierung zwischen unterschiedlichen Risikowerten? Können vom SRA-System übermittelte hohe Risi-ken von den Benutzern rasch und eindeutig als hohe Risiken identifiziert werden?

• Verständlichkeit: Unterstützt die HMI-Gestaltung das Verständnis der Risikowerte, d.h. den Bezug des situativen Risikos zu dem konkreten schädigenden Ereignis und den vom situativen Risiko betroffenen Systemkomponenten?

• Handlungsbezug: Unterstützt die HMI-Gestaltung die Identifikation von Hand-lungsoptionen, mit denen die Benutzer ein hohes situatives Risiko reduzieren kön-nen?

Selbstverständlich kann die HMI-Gestaltung die beiden letztgenannten Kriterien nur soweit unterstützen, wie das Risikomodell dies prinzipiell zulässt. Beispielsweise sind in hoch komplexen MMS auch SRA-Systeme denkbar, die lediglich eine außergewöhnliche Abweichung von einem „normalen“ Prozesszustand erkennen, ohne das konkrete schädi-gende Ereignis identifizieren, geschweige denn eine genaue Handlungsoption vorschla-gen zu können. In einem solchen Fall verblieben die Aufgaben der Diagnose der Stö-rungsursache und der Ableitung möglicher Handlungsoptionen zur Beseitigung der Stö-rung komplett beim Menschen.

4.3.2 Methodischer Ansatz Grundsätzlich steht eine große Vielfalt an unterschiedlichen Methoden zur Usability-Evaluation zur Verfügung (vgl. die o.g. allgemeinen Quellen). Das Spektrum der metho-dischen Ansätze reicht von qualitativen, heuristischen Verfahren (z.B. Heuristische Eva-luation nach Nielsen, 1994), die häufig anhand von Checklisten durchgeführt werden, über den Einsatz kognitiver Nutzermodellierung (z.B. Urbas et al., 2005) bis zu quantita-tiven, experimentellen Untersuchungen in der Tradition der psychologischen Laborfor-schung (z.B. für den systematischen Vergleich von alternativen Gestaltungsentwürfen).


Für die Auswahl der geeigneten Methoden bei der entwicklungsbegleitenden Evaluation des HMI eines SRA-Systems ist eine Abwägung von Aufwand (Kosten) und Nutzen (Aussagekraft und Zuverlässigkeit der erhobenen Daten, ggf. Generalisierbarkeit) not-wendig. Im Rahmen eines Entwicklungsprojektes dürften qualitative, heuristische Ver-fahren häufig das günstigste Kosten-Nutzen-Verhältnis aufweisen (vgl. Nielsen, 1994; Mayhew, 1999). Dabei ist es zweckmäßig, die Evaluation der Benutzungsschnittstelle während des Entwicklungsprozesses sowohl mit Usability-Experten (Human Factors Spezialisten) als auch mit den späteren Benutzern (Domäne-Experten) durchzuführen.

4.4 Akzeptanz des SRA-Systems Um vorherzusagen bzw. zu erklären, ob und in wie weit die Benutzer ein technisches System akzeptieren, gibt es eine Reihe unterschiedlicher theoretischer Ansätze (für einen Überblick siehe Venkatesh et al., 2003). Beispielsweise geht das Modell der Technikak-zeptanz (Technology Acceptance Model: Adams et al., 1992; Davis, 1989; Davis et al., 1989) allgemein davon aus, dass die Akzeptanz eines technischen Systems von der wahr-genommenen Nützlichkeit (perceived usefulness) und der wahrgenommenen Einfachheit der Benutzung (perceived ease of use) beeinflusst wird. Übertragen auf ein SRA-System dürfte – jeweils aus Sicht der Operateure – die Nützlichkeit von der Güte der Risikobe-rechnungen und die Einfachheit von der Gestaltung des HMI abhängen, d.h. für die Ak-zeptanz spielt die subjektive Bewertung der in den beiden vorherigen Abschnitten disku-tierten Kriterien-Bereiche durch die Operateure eine wichtige Rolle.

Bei der Akzeptanz dynamischer Warnsysteme unterscheidet Meyer (2004) zwischen „Befolgen“ (compliance) und „Vertrauen“ (reliance). „Befolgen“ bedeutet, dass die Ope-rateure auf eine Warnung (bzw. ein vom System übermitteltes hohes Risiko) reagieren. „Vertrauen“ bedeutet, dass die Operateure sich bei einer Nicht-Warnung (bzw. einem vom System übermittelten niedrigen oder normalen Risiko) auf das System verlassen und entsprechend dem angezeigten „Normalzustand“ handeln (z.B. dass sie keine Anzeichen unnötiger Nervosität zeigen, vgl. 2.3.4). In zahlreichen Untersuchungen wurde gezeigt, dass die Akzeptanz eines Warnsystems (bzw. nach Meyer, 2004, in erster Linie das Be-folgen) durch Fehlalarme stark beeinträchtigt wird (z.B. Block et al., 1999; Dingus et al., 1997; Parasuraman & Riley, 1997; Pritchett, 2001; Wiener & Curry, 1980). Fehlalarme führen auf längere Sicht dazu, dass Operateure auf Warnungen nicht mehr oder nur ver-zögert reagieren, und das Warnsystem schließlich abstellen oder ignorieren (cry wolf phenomenon: Breznitz, 1984). Allerdings weist Pritchett (2001) darauf hin, dass Fehl-alarme deutlich weniger negative Auswirkungen auf die Akzeptanz haben, wenn die Operateure die Gründe für einen Fehlalarm nachvollziehen können, d.h. wenn das techni-sche System seine Risikobewertungen transparent macht.

4.4.1 Fragestellungen und Kriterien Auch wenn es sich bei der Akzeptanz eines technischen Systems allgemein um ein kom-plexes Phänomen handelt, das durch zahlreiche Faktoren beeinflusst wird (z.B. Attitüden,

32

intrinsische und extrinsische Motivation, subjektive Normen, soziale Faktoren: vgl. Ven-katesh et al., 2003), stellt das etablierte und relativ simple Modell der Technikakzeptanz (Davis, 1989, s.o.) einen geeigneten Ausgangspunkt zur prospektiven Abschätzung der Akzeptanz eines SRA-Systems im Rahmen einer entwicklungsbegleitenden Evaluation dar. Demnach sollten zur Bewertung der Akzeptanz zwei Kriterien überprüft werden:

• Wahrgenommene Nützlichkeit: Für wie nützlich halten die Operateure das SRA-System?

• Wahrgenommene Einfachheit der Benutzung: Beurteilen die Operateure das SRA-System als einfach zu benutzen?

4.4.2 Methodischer Ansatz Zur prospektiven Beurteilung der Akzeptanz können die subjektiven Einstellungen der Operateure zum SRA-System mit expliziten Befragungsmethoden (z.B. Fragebogen, In-terview, Fokusgruppe) erhoben werden. Zusätzlich können Beobachtungsmethoden (z.B. Videoaufzeichnung, Blickbewegungsmessung) eingesetzt werden, um die Akzeptanz implizit über die Interaktion der Operateure mit dem System zu erschließen. So kann beispielsweise überprüft werden, ob die Operateure die vom SRA-System übermittelten Risikowerte in einer bestimmten Situation überhaupt beachten, bzw. wie oft und in wel-chen Situationen die Operateure sich mit dem SRA-System befassen.

4.5 Effektivität der SRA-Assistenz Der Nachweis der Effektivität der von dem SRA-System geleisteten Assistenz ist das übergeordnete Ziel der summativen Evaluation. Auch für die formative Evaluation ist die Effektivität ein wichtiges Kriterium, da der Befund einer mangelnden Effektivität bei einer entwicklungsbegleitenden Untersuchung auf einen Optimierungsbedarf hinweist. Allgemein ist der Nachweis der Effektivität von Assistenzsystemen, die kognitive Pro-zesse der Operateure in MMS unterstützen sollen, nicht leicht zu führen. Zudem kann es je nach der Perspektive des Betrachters unterschiedliche Ansichten darüber geben, worin sich die Effektivität eines SRA-Systems zeigen sollte.

Beispielsweise dürften die Operateure ein SRA-System dann für effektiv halten, wenn sie die Risikobewertungen nachvollziehen können, und wenn das System sie nicht durch aufdringliche Fehlalarme stört, d.h. wenn sie das SRA-System als nützlich und einfach zu benutzen erleben (s. 4.4). Hingegen wird aus Sicht der Betreiber eines MMS, die die Ent-scheidung darüber treffen, ob ein SRA-System implementiert werden soll, die Motivation zur Investition in ein SRA-System letztlich darin bestehen, Kosten zu senken (sofern die Ausrüstung mit einem SRA-System nicht gesetzlich vorgeschrieben ist). Demnach wäre ein SRA-System dann effektiv, wenn es dazu beiträgt, mehr Geld zu sparen bzw. einen größeren Gewinn zu erzielen als seine Anschaffung kostet. Allerdings werden durch SRA-Systeme – wie auch durch Warnsysteme (vgl. Pritchett, 2001) – keine menschli-chen Aufgaben komplett ersetzt (automatisiert). Die Bewertung der situativen Risiken


durch ein SRA-System erfolgt immer redundant zur („ohnehin schon vorhandenen“) Si-tuational Risk Awareness der Operateure, so dass ein solches System nicht unmittelbar zu offensichtlichen Einsparungen führen wird. Stattdessen sollte sich die Effektivität ei-nes SRA-Systems darin zeigen, dass sich die Verlässlichkeit des gesamten MMS erhöht, d.h. die Verlässlichkeit kann als das übergeordnete Kriterium der Effektivität eines SRA-Systems betrachtet werden.

4.5.1 Fragestellungen und Kriterien

4.5.1.1 Verlässlichkeit als übergeordnetes Effektivitäts-Kriterium

Nach Giesa (2003; s.a. Giesa & Timpe, 2006) ist die Verlässlichkeit definiert als ein qua-litativer Begriff, der die anforderungsgerechte Zielerreichung eines MMS charakterisiert. Giesa (2003) präsentiert ein allgemeines Zielsystem zur Bewertung der Verlässlichkeit (Bild 11). Dabei bestehen die Oberziele zur Erreichung eines optimumnahen MMS in (1) hoher Wirtschaftlichkeit, (2) hoher Verlässlichkeit und (3) hoher Umweltverträglichkeit. Der hohen Verlässlichkeit werden die Ziele (a) Erreichung des Systemzwecks, (b) hohe Autorität des Menschen, (c) hohe Kompetenz des Menschen und (d) hohe Funktionalität untergeordnet. Indem es mit der Unterstützung der Situational Risk Awareness auf eine Komponente der Situation Awareness abzielt, bezweckt ein SRA-System auf einer über-geordneten Ebene die Aufrechterhaltung oder Erhöhung der Autorität des Menschen, um dadurch die Verlässlichkeit des gesamten MMS zu steigern.

Bild 11: Zielsystem zur gegenstandsbezogenen Bewertung von MMS nach Giesa (2003) (Stellenwert der Situation Awareness hervorgehoben von BG)

Zu berücksichtigen ist, dass dieses Zielsystem eine qualitative Heuristik darstellt, und die Unterziele nicht als zwingend voneinander unabhängige Dimensionen konzipiert sind. Neben seiner Hauptfunktion im Bereich Situational Risk Awareness / Situation Awareness (i) könnte ein SRA-System gleichzeitig zu einer adäquateren mentalen Bean-spruchung (ii) der Operateure beitragen, indem es sie bei der Informationsbewertung entlastet. Ein SRA-System könnte auch die Gebrauchstauglichkeit (iii) steigern, wenn es

34

durch die Übermittlung situativer Risikowerte eine zuvor suboptimal gestaltete Mensch-Maschine-Schnittstelle verbessert. Schließlich könnte ein SRA-System längerfristig auch die Kompetenz der Operateure fördern (iv), indem es das Verständnis der Bedeutsamkeit der einzelnen Prozessdaten auf die situativen Risiken im MMS unterstützt.

Auf der nächsten Ebene ist davon auszugehen, dass eine hohe Autorität des Menschen (d.h. der Operateure) im MMS dazu beiträgt, die „Ironien der Automatisierung“ (Bainbridge, 1983) zu vermeiden. Die Ironien der Automatisierung kommen dadurch zustande, dass Systementwickler versuchen, als „unzuverlässig“ eingeschätzte menschli-che Operateure im MMS soweit möglich durch (als zuverlässiger eingeschätzte) techni-sche Systeme zu ersetzen (technikzentrierte Gestaltung). Allerdings müssen im Falle ei-ner Störung der technischen Systeme dennoch die Operateure eingreifen, wozu sie jedoch aufgrund mangelnder Übung im Normalbetrieb nicht mehr in der Lage sein können (s.a. out-of-the-loop performance, 2.3.4). „Mit hoher Autorität des Menschen im MMS ist gemeint, dass der Mensch die Führungsrolle im MMS haben soll und dieser durch eine adäquate Systemgestaltung auch gerecht werden kann“ (Giesa, 2003, S. 20). Daraus folgt, dass die hohe Autorität des Menschen (b) auch dazu beiträgt, dass der System-zweck dauerhaft erreicht wird (a), d.h. von einer hohen Autorität des Menschen sind zu-mindest längerfristig auch positive Effekte auf die Leistung des gesamten MMS zu er-warten, da die Operateure mit einer hohen Autorität das System auch im Störfall noch beherrschen können.

4.5.1.2 Unterkriterien der Effektivität

Diesen Annahmen entsprechend sollte sich die durch ein effektives SRA-System erhöhte Verlässlichkeit des MMS in einer messbaren Verbesserung des Entscheidungsverhaltens der Operateure zeigen, die sich auch in einer Erhöhung der Leistung niederschlägt. Al-lerdings besteht insbesondere in höher automatisierten Systemen kein eindeutiger Zu-sammenhang zwischen der Situational Risk Awareness der Operateure und der Leistung bzw. der anforderungsgerechten Zielerreichung des MMS (s. 2.3.4). Da die Hauptfunkti-on von SRA-Systemen in der Verbesserung der Situational Risk Awareness (SRAW) der Operateure besteht, ist es wichtig, die SRAW explizit zu überprüfen.

Darüber hinaus sollte in diesem Zusammenhang auch die mentale Beanspruchung der Operateure berücksichtigt werden. Allgemein bezeichnet die Beanspruchung die subjek-tive Reaktion des Menschen auf äußere Anforderungen (vgl. Rohmert, 1973). Die menta-le Beanspruchung bezieht sich auf die Informationsverarbeitungskapazität des Menschen (z.B. Hart & Wickens, 1990), wobei die genaue Definition (wie auch bei Situation Awa-reness und Risiko, s. Kap. 2) umstritten ist. Vidulich (2003) empfiehlt, zur Evaluation neuer Systeme, die auf die Verbesserung der Situation Awareness der Operateure in MMS abzielen, stets auch die mentale Beanspruchung zu untersuchen, um zu überprüfen, dass eine mögliche Verbesserung der Situation Awareness nicht mit einer erhöhten men-talen Beanspruchung „erkauft“ wird. Dementsprechend lauten die zentralen Kriterien und Fragestellungen zur Bewertung der Effektivität eines SRA-Systems:


1. Situational Risk Awareness: Führt der Einsatz des SRA-Systems zu einer Verbesse-rung der Situational Risk Awareness der Operateure?

2. Verhalten / Leistung: Bewirkt der Einsatz des SRA-Systems positive Änderungen im (Entscheidungs-) Verhalten bzw. der Leistung der Operateure bei der Erfüllung ihrer Aufgaben im MMS?

3. Mentale Beanspruchung: Erfahren die Benutzer des SRA-Systems eine adäquate mentale Beanspruchung bei der Erfüllung ihrer Aufgaben?

4.5.2 Methodischer Ansatz Giesa (2003) unterscheidet in Anlehnung an Javaux (2002) modellbasierte, experimen-telle und erfahrungsbasierte Ansätze zur Bewertung der Verlässlichkeit von MMS:

• Modellbasierte Ansätze beruhen auf abstrakten Repräsentationen der Systemstruktur und des Systemverhaltens und können daher bereits in sehr frühen Systemlebenspha-sen eingesetzt werden

• Experimentelle Ansätze erfordern einen funktionsfähigen Prototypen und werden eingesetzt, wenn mit vorliegenden Theorien und Modellen das tatsächliche Verhalten des Systems nicht mehr ausreichend sicher vorhergesagt werden kann.

• Erfahrungsbasierte Ansätze beziehen sich auf die Phase nach der Inbetriebnahme des MMS.

Für die entwicklungsbegleitende Evaluation der Effektivität eines SRA-Systems er-scheinen experimentelle Ansätze besonders geeignet, da hierbei ein hoch entwickelter Prototyp des Systems mit den zukünftigen Benutzern untersucht werden kann. Insbeson-dere bietet sich zu diesem Zweck der Einsatz von Simulatoren an, da sie die Evaluation in einem realitätsnahen und gleichzeitig kontrollierten Setting ermöglichen. Als die we-sentlichen Merkmale des experimentellen Ansatzes nennt Giesa (2003) nach Sarris (1990) die systematische Beobachtung, die gezielte Manipulation von Variablen, sowie die Kontrolle von eventuellen Störvariablen durch den Experimentator.

Entsprechend den zu untersuchenden Fragestellungen ist die zentrale unabhängige Va-riable bei der experimentellen Überprüfung der Effektivität der Einsatz des SRA-Systems, d.h. es sollten Untersuchungsbedingungen mit und ohne das SRA-System sys-tematisch miteinander verglichen werden. Allgemein wird dabei die Hypothese über-prüft, dass das SRA-System zu einer Erhöhung der Verlässlichkeit führt. Die Untersuch-ung sollte mit einer Stichprobe aus zukünftigen Benutzern als Probanden durchgeführt werden, wobei gegebenenfalls die Erfahrung in dem betreffenden MMS (z.B. erfahrene Operateure / Experten vs. unerfahrene Operateure / Novizen) oder sonstige potenziell relevante Eigenschaften und Merkmale der Benutzer (z.B. Alter, Sprachkenntnisse) als weitere unabhängige Variablen systematisch variiert werden können.

36

Als abhängige Variablen sollten die zentralen Effektivitätskriterien Situational Risk Awareness, Leistung und mentale Beanspruchung erhoben werden, wobei für die Opera-tionalisierung unterschiedlichste Verfahren eingesetzt werden können. Beispielsweise können zur Erhebung der SRAW existierende Erhebungsmethoden für Situation Aware-ness angepasst werden, die sich nach Hauß (2006) unterteilen lassen in Leistungsmaße, subjektive Maße, Analyse der Informationsaufnahme, Analyse von Verhaltensdaten und Reproduktionstestverfahren. Für die Erhebung der mentalen Beanspruchung kann zwi-schen subjektiver Selbsteinschätzung, Leistungsmessung (bei Primär- oder Nebenaufga-be) und physiologischen Messungen unterschieden werden (z.B. Schönpflug, 1987; O’Donnel & Eggmeier, 1986). Leistungsmaße müssen spezifisch entsprechend den Sys-temzielen des jeweils untersuchten MMS definiert werden (Giesa (2003)15.

Neben der Auswahl der Methoden zur Erhebung der abhängigen Variablen ist für Un-tersuchungen im Simulator die Konstruktion des Simulationsszenarios ein wesentlicher Arbeitsschritt. Für die Evaluation der Effektivität eines SRA-Systems muss dabei zwi-schen „inhaltlicher Teststärke“ zum Effektivitätsnachweis und Realitätsnähe abgewogen werden. Inhaltliche Teststärke bedeutet, dass das Szenario komplexe Anforderungen und hohe situative Risiken beinhalten sollte, damit die Unterstützungsfunktion des SRA-Systems zur Geltung kommen kann. Gleichzeitig muss für eine ausreichende Realitäts-nähe darauf geachtet werden, dass die Probanden das Simulationsszenario im Vergleich zu ihrer gewohnten Arbeitsumgebung nicht als zu artifiziell empfinden, beispielsweise durch eine zu rasche Abfolge mehrerer extremer Risiken wie Störungen oder Beinahe-Unfällen.

4.6 Generelle Risiken des Einsatzes von SRA-Systemen Neben den erhofften positiven Effekten auf die Verlässlichkeit des MMS birgt der Ein-satz von SRA-Systemen auch generelle Risiken, die die Effektivität beeinträchtigen kön-nen. Diese generellen Einsatz-Risiken können die Effektivität eines SRA-Systems ver-hindern und sollten bei der entwicklungsbegleitenden Evaluation berücksichtigt werden. Zum einen handelt es sich um „systembezogene“ Risiken, die darauf zurückzuführen sind, dass die Güte der Risikoberechnungen in der Regel nicht perfekt ist (s. 4.3). Zum anderen sind „interaktionsbezogene“ Risiken zu berücksichtigen, die sich bei der Interak-tion der Benutzer mit einem SRA-System ergeben.

4.6.1 Systembezogene Risiken In Tabelle 216 sind die möglichen Fälle bei einer nicht perfekten Klassifikationsgüte des Risiko-Modells in Abhängigkeit von dem subjektiven situativen Risiko des Operateurs

15 Als mögliche ergebnisbezogenen Indikatoren zur Erreichung des Systemzwecks schlägt Giesa (2003) die Stückzahlen oder die Qualität des Produkts oder auch die Schnelligkeit der Fertigung vor. 16 Zur besseren Anschaulichkeit wird an dieser Stelle die Darstellungsform einer Tabelle gewählt und das situative Risiko vereinfachend lediglich als binär (hoch – niedrig) betrachtet.


idealtypisch dargestellt. Potenziell problematisch sind diejenigen Fälle, in denen das SRA-System das objektive Risiko nicht korrekt klassifiziert (in der Tabelle grau hervor-gehoben). Je nach dem subjektiven situativen Risiko des Operateurs können Auslassun-gen des SRA-Systems entweder unkritisch (3) sein, wenn der Operateur das Risiko selbst richtig einschätzt, oder sicherheitskritisch (7), wenn der Operateur das Risiko ebenfalls unterschätzt. Fehlalarme können vom Operateur entweder als stimmig (2) oder als un-stimmig (6) zum eigenen subjektiven Risiko erlebt werden. Allgemein wird ein negativer Einfluss von („klassischen“) Fehlalarmen (6) auf die Akzeptanz eines Warnsystems an-genommen (s. 4.4), der sich in erster Linie darin zeigen dürfte, dass die Operateure auf Warnungen (bzw. bei SRA-Systemen auf übermittelte hohe Risiken) nicht mehr reagie-ren (mangelnde compliance nach Meyer, 2004). Demgegenüber wird der Einfluss unkri-tischer Auslassungen (3) in der Literatur kaum diskutiert, wobei davon ausgegangen werden kann, dass auch hier deutlich negative Auswirkungen auf die Akzeptanz auftreten werden, die möglicherweise darauf hinauslaufen, dass sich die Operateure nicht mehr auf die „Normalanzeigen“ des Systems verlassen (mangelnde reliance nach Meyer, 2004). Noch vor den potenziellen Akzeptanzproblemen besteht das größte systembezogene Ri-siko in einer sicherheitskritischen Auslassung (7), da in diesem Fall das SRA-System seine Hauptfunktion nicht mehr erfüllen kann (vgl. 3.3), und möglicherweise die Opera-teure in ihrer Unterschätzung des situativen Risikos noch bestärkt.

Tabelle 2: Matrix zur Klassifikationsgüte des Risiko-Modells bezogen auf das subjektive situative Risiko

Risikowert des SRA-Systems

Hoch Niedrig

Objektives Risiko Objektives Risiko

Situatives Risiko im MMS

Hoch Niedrig Hoch Niedrig

Hoc

h

(1) Korrekte Bes-tätigung der angespannten Wachsamkeit

(2) Falsche Bestä-tigung der un-nötigen Nervo-sität

(3) Unkritische Auslassung

(4) Korrekte Be-ruhigung bei unnötiger Ner-vosität

Subj

ektiv

es R

isik

o

Nie

drig

(5) Korrekte War-nung

(6) Klassischer Fehlalarm

(7) Sicherheitskri-tische Auslas-sung

(8) Korrekte Bes-tätigung der entspannten Wachsamkeit

4.6.2 Interaktionsbezogene Risiken Interaktionsbezogene Risiken können auch bei einem SRA-System auftreten, dessen Ri-sikoberechnungen eine sehr hohe Güte aufweisen, und das bei den Operateuren eine hohe Akzeptanz findet. Tendenziell dürften derartige Risiken von einer hohen Güte der Risi-koberechnungen und einer hohen Akzeptanz sogar begünstigt werden:

38

• Fehlinterpretation: Wenn kein eindeutiger Zusammenhang zwischen einem situati-ven Risikowert und dem konkreten Ereignis besteht (vgl. 4.3.1: Verständlichkeit) kann es dazu kommen, dass der Benutzer die Ursache eines hohen Risikowertes des SRA-Systems falsch interpretiert. Dies bezieht sich insbesondere auf eine korrekte Bestätigung der angespannten Wachsamkeit (1) (Tabelle 2). Beispielsweise könnte ein SRA-System zur Kollisionswarnung in einem Fahrzeug ein hohes Kollisionsrisi-ko anzeigen, das durch ein vorausfahrendes Fahrzeug verursacht wird, während gleichzeitig auch der Fahrzeugführer ein hohes Kollisionsrisiko wahrnimmt, das sich jedoch auf ein anderes, gerade überholendes Fahrzeug bezieht. Möglicherweise wür-de der Fahrzeugführer hier auf das letztere Fahrzeug reagieren und dabei trotz eines von ihm wahrgenommenen und als relevant beurteilten hohen Risikowerts des SRA-Systems das erstere Fahrzeug übersehen. Auch mangelndes Vertrauen kann das Auf-treten von Fehlinterpretationen begünstigen, beispielsweise wenn der Operateur einen hohen Risikowert als (üblichen) Fehlalarm abtut, während es sich tatsächlich um eine korrekte Risikobewertung des SRA-Systems für ein außergewöhnliches, auch objek-tiv kritisches Ereignis handelt.

• Übersteigertes Vertrauen: Ein sehr zuverlässiges SRA-System mit einer hohen Gü-te der Risikoberechnungen könnte dazu führen, dass die Operateure die Überwachung anderer Komponenten des technischen Systems bzw. der übrigen Anzeigen des HMI vernachlässigen (vgl. Manzey & Bahner, 2005). In der englischsprachigen Literatur wird dieses Phänomen des übersteigerten Vertrauens in ein technisches System mit dem Begriff complacency bezeichnet (z.B. Moray, 2003; Parasuraman et al., 1993). Im Extremfall könnten die Operateure sich bei der Aufgabenbearbeitung ausschließ-lich nach den Risikowerten des SRA-Systems richten, d.h. sie üben keine aktive Kon-trolle über das technische System mehr aus, sondern reagieren nur noch passiv auf das SRA-System und handeln erst, wenn das übermittelte Risiko einen hohen Bereich erreicht. Hierbei besteht insbesondere die Gefahr, dass die Operateure einen kriti-schen Prozesszustand, der vom SRA-System nicht erkannt wird, ebenfalls nicht bzw. nicht rechtzeitig wahrnehmen (sicherheitskritische Auslassung, s.o.).

• Kompetenzverlust: Während SRA-Systeme einerseits ein Potenzial zur Förderung der Kompetenz ihrer Benutzer haben, indem sie mit den Risikobewertungen die Zu-sammenhänge der im MMS ablaufenden Prozesse erkennbar machen, besteht ande-rerseits – möglicherweise auch infolge einer hohen Akzeptanz des SRA-Systems – das Risiko des Kompetenzverlusts der Operateure (vgl. Rasmussen et al., 1994), wenn diese es aufgrund mangelnder Übung verlernen, die situativen Risiken im MMS selbst angemessen zu beurteilen.


4.7 Zusammenfassung des Rahmenkonzepts In Bild 12 ist das Rahmenkonzept zur entwicklungsbegleitenden Evaluation von SRA-Systemen zusammenfassend dargestellt. Es werden vier Kriterienbereiche unterschieden, zwischen denen die folgenden Zusammenhänge angenommen werden (vgl. 4.1.2):

• Die Güte der Risikoberechnungen und die Gestaltung der Benutzungsschnittstelle sind die grundlegenden Kriterienbereiche, die als voneinander unabhängig zu be-trachten sind.

• Die beiden grundlegenden Kriterienbereiche sind erstens Voraussetzungen dafür, dass die Effektivität der SRA-Assistenz erreicht werden kann. Zweitens beeinflussen sie auch die Akzeptanz des SRA-Systems durch die Operateure, die ihrerseits eben-falls eine Voraussetzung für die Effektivität der SRA-Assistenz ist.

Den Kriterienbereichen sind jeweils mehrere Unter-Kriterien zugeordnet, die zur Eva-luation operationalisiert und gemessen werden. Für die einzelnen Kriterienbereiche und die verschiedenen Unter-Kriterien sind jeweils unterschiedliche methodische Ansätze besonders geeignet.

Bild 12: Kriterienbereiche und Unter-Kriterien des Rahmenkonzepts

40

5 Mensch-Maschine-Interaktion bei der nautischen Schiffsführung

Nachdem in den vorangegangenen Kapiteln allgemeine Aspekte der Bewertung von SRA-Systemen erörtert und zu einem Rahmenkonzept zusammengefasst wurden, wird im folgenden, empirischen Teil dieser Arbeit beispielhaft die Durchführung der entwick-lungsbegleitenden Evaluation eines SRA-Systems im Anwendungsgebiet der nautischen Schiffsführung demonstriert. Als Grundlage wird in diesem Kapitel zunächst die Mensch-Maschine-Interaktion bei der Schiffsführung allgemein beschrieben, sowie die wesentlichen Befunde der Forschung in diesem Bereich überblicksartig resümiert.

Der Anwendungsbereich Schiffsführung zeichnet sich dadurch aus, dass der Seever-kehr bei einer herausragenden Bedeutung für den Weltgüterhandel aufgrund der mögli-chen enormen Kosten durch Sach- und Umweltschäden sowie der Gefahren für Leib und Leben von Besatzung und Passagieren ein hohes (generelles) Unfallrisiko birgt. Wie in anderen Aufgabenbereichen in komplexen, dynamischen MMS (z.B. Flugführung, Pro-zessführung in Kraftwerken oder in der chemischen Industrie) werden auch bei der Schiffsführung ca. 80% der Unfälle auf „menschliches Versagen“ zurückgeführt (s. 5.4.1). Gleichzeitig werden die Arbeitsaufgaben der Menschen bei der Konzeption und Gestaltung technischer Systeme in diesem Bereich oft nicht ausreichend berücksichtigt, benutzerorientierte Ansätze der Systementwicklung werden selten angewendet (vgl. Lützhöft, 2004). Während insbesondere im Bereich der Kraftfahrzeugführung oder der Flugsicherung und Flugführung die Untersuchung der Mensch-Maschine-Interaktion (MMI) bzw. der Human Factors eine lange Tradition hat, wird diese Thematik in der Domäne der Schiffsführung vergleichsweise selten betrachtet.

Somit widmet sich die vorliegende Untersuchung einem Anwendungsbereich, in dem grundsätzlich ein großer Bedarf nach Erkenntnissen zur benutzerorientierten Gestaltung von Mensch-Maschine-Schnittstellen und zur Optimierung der Mensch-Maschine-Interaktion besteht. Die Schiffsbrücke ist die zentrale Leitstelle des Schiffs, auf der sich zum einen die Informations- und Kommunikationssysteme zur Interaktion mit der Um-welt befinden, zum anderen werden von hier aus die Antriebs- und Rudermaschinen ü-berwacht und gesteuert.17 In Bild 13 sind schematisch und stark vereinfacht die wesentli-chen Elemente und Wechselwirkungen des untersuchten Systems dargestellt. Die Kom-ponente „Mensch“ des Mensch-Maschine-Systems (MMS) Schiffsbrücke besteht aus der Brückencrew (s. 5.1), die Komponente „Maschine“ aus den auf der Brücke befindlichen technischen Geräten und Systemen (s. 5.2). Das MMS steht in einer engen Interaktion mit seiner physikalischen und organisationalen Umwelt (s. 5.3).

17 Die Überwachung und Steuerung der Antriebs- und Steuermaschinen wird in Interaktion mit dem MMS „Maschinenraum“ vollzogen, auf dessen Darstellung aus Gründen der Übersichtlichkeit verzichtet wird.

Kapitel 5: MMI bei der Schiffsführung 41

Bild 13: Die Schiffsbrücke als Mensch-Maschine-System (MMS)

5.1 Rollen und Aufgaben der Menschen bei der Schiffsführung Das übergeordnete Ziel der nautischen Schiffsführung ist es, die Bewegung des Schiffs auf See so zu steuern, dass der Zielhafen pünktlich erreicht wird, und dabei die Kriterien der Sicherheit des Schiffs und seiner Ladung sowie der Wirtschaftlichkeit des Schiffsbe-triebs einzuhalten. Die Brückencrew besteht in der Regel aus dem Kapitän und mehreren Wachoffizieren. Es herrscht eine klar definierte Hierarchie, Kommando und Verantwor-tung liegen beim Kapitän bzw. beim ranghöchsten diensthabenden Offizier. Die Aufgabe der nautischen Schiffsführung beinhaltet mehrere Unteraufgaben (vgl. Carstensen & Nielsen, 1997; International Chamber of Shipping, 1998; Sanquist et al., 1994):

• Planen: Vor der Fahrt wird unter Berücksichtigung der Eigenschaften des zu führen-den Schiffes, seiner Besatzung und seiner Ladung, der finanziellen und zeitlichen Vorgaben des Schiffsbetreibers sowie des erwarteten Zustandes der Umwelt der Rei-seplan erarbeitet. Auch während der Fahrt sind weitere Planungstätigkeiten zur Um-setzung oder Modifikation des Reiseplans entsprechend den aktuellen Situation (z.B. Wetteränderungen) erforderlich.

• Überwachen: Während der Fahrt muss die (physikalische) Umwelt (Verkehr, Wetter usw.) ständig überwacht werden (Ausguck), da sich die Umgebungsbedingungen rasch und ohne Vorwarnung ändern können. Zudem müssen relevante Beo-bachtungen und Ereignisse in das Logbuch eingetragen und die Funktionsfähigkeit der technischen Geräte routinemäßig getestet werden.

• Navigieren: Die Position des eigenen Schiffes muss regelmäßig überprüft werden, um festzustellen, ob die geplante Route eingehalten wird. Aufgrund des Zustands der aktuellen Situation im Vergleich zum Reiseplan muss der Kommandierende ent-scheiden, welche Handlungen erforderlich sind.

42

• Steuern von Geschwindigkeit und Kurs: Über die Antriebs- und Rudermaschinen werden Geschwindigkeit und Kurs des Schiffs gesteuert, wobei die Wechselwirkun-gen mit den meteorologischen und hydrologischen Umweltbedingungen sowie der Zustand der Maschinen und die allgemeinen Manövriereigenschaften des Eigen-schiffs zu berücksichtigen sind.

• Kommunizieren: Zwischen den an der Schiffsführung beteiligten Akteuren, sowohl intern (Brücke, Maschinenraum) als auch extern (z.B. andere Schiffe, Verkehrsleit-zentrale), ist je nach Situation ein intensiver Informationsaustausch erforderlich.

Neben diesen auf die nautische Schiffsführung bezogenen Tätigkeiten ist die Brü-ckencrew auch für Aufgaben zuständig, die sich auf die Führung des Schiffs im Sinne des Managements (von Besatzung, Ladung u.a.) beziehen. Die vorliegende Untersuchung beschränkt sich auf die nautische Schiffsführung im engeren Sinne.

5.2 Technische Systeme auf der Schiffsbrücke Zur Erledigung der Aufgabe der nautischen Schiffsführung stehen der Brückencrew un-terschiedliche technische Systeme zur Verfügung (vgl. American Bureau of Shipping, 2000; ISO 8468):

• Kursinformationssysteme (Kreiselkompass, Magnetkompass)

• Automatische Steuersysteme (z.B. Autopilot)

• Geschwindigkeitsmesssysteme (Speed Log)

• Tiefenmesssysteme (Echolot)

• Radarsysteme (mit automatischer Berechnung von Passierabständen, Passierzeiten, Peilungen u.a. der Fremdschiffe: Automatic Radar Plotting Aids [ARPA])

• Positionsbestimmungssysteme (z.B. GPS)

• Systeme zur Routenplanung, -überwachung und -information (z.B. Electronic Chart Display and Information System [ECDIS])

• Automatisches Schiffsidentifizierungssystem (Automatic Identification System, AIS)

• Automatisches Bahnführungssystem (Track Control)

• Kommunikationssysteme (z.B. Funk-, Telefonanlagen)

Der technische Fortschritt führte in den letzten Jahrzehnten zu einer ständigen Verbes-serung der Sensoren sowie zu einer zunehmenden Automatisierung und Integration der einzelnen Systeme. Mit dem NMEA-0183 Protokoll existiert ein Standard, der den Da-tenaustausch und die Vernetzung zwischen unterschiedlichen elektronischen Navigati-onssystemen verschiedener Hersteller ermöglicht, so dass moderne Brücken in der Regel über ein Integriertes Brückensystem (Integrated Bridge System, IBS) bzw. Integriertes


Navigationssystem (Integrated Navigation System, INS) für eine zentralisierte Überwa-chung und Steuerung verfügen (Bild 14).

Bild 14: Anzeige- und Bedienelemente (oben) und schematische Darstellung der Daten-integration (unten) eines INS (TRANSAS, 2007)

Für die Brückencrew verlagerten sich infolge der technischen Fortschritte im Bereich der Navigationssysteme die Arbeitsaufgaben von der Informationsbeschaffung zur In-formationsauswahl bzw. -bewertung (Berking, 2004; Kersandt, 2003a, 1995). Während zeitraubende manuelle Tätigkeiten der Nautiker (z.B. astronomische Ortsbestimmung, Radarplotten) automatisiert wurden, was mit der Verringerung der Besatzungsstärken und der Erweiterung der Aufgabenbereiche der verbliebenen Mitglieder der Brückencrew einherging, erhöhte sich die Komplexität der technischen Systeme erheblich.

44

5.3 Organisationale Umwelt und Arbeitsbedingungen

5.3.1 Relevante Organisationen und Institutionen Neben dem Schiffsbetreiber (Reederei bzw. Charterer), der das unmittelbare organisatio-nale Umfeld des Schiffs darstellt, den Arbeitsauftrag an die Besatzung definiert (z.B. zeitliche und finanzielle Rahmenbedingungen), und für Ausstattung und Gestaltung der Arbeitsplätze verantwortlich ist, spielt sich die Schiffsführung in einer vielschichtigen, globalisierten organisationalen Umwelt ab, in der u.a. die folgenden Organisationen und Institutionen von Bedeutung sind (vgl. Moreton, 2000):

• Die IMO (International Maritime Organisation) entwickelt und verabschiedet Kon-ventionen, Regelwerke und Standards für die Sicherheit der internationalen Seefahrt (z.B. SOLAS-74 [International Convention for the Safety of Life at Sea]; STCW-95 [Standard for Training, Certification and Watchkeeping]; International Safety Mana-gement [ISM] Code; COLREGS-72 [International Regulations for the Prevention of Collisions at Sea] / deutsch: KVR [Kollisionsverhütungsregeln])

• Die Hafenstaaten (-kontrollen) wachen darüber, dass die von ihnen ratifizierten IMO-Konventionen (und die sonstigen nationalen rechtlichen Bestimmungen) durch die sich in ihrem Hoheitsbereich befindlichen Schiffe eingehalten werden.

• Die Flaggenstaaten bestimmen u.a. das Arbeitsrecht und ggf. die für die Besatzung geltenden Tarifverträge.

• Die Klassifikationsgesellschaften überprüfen regelmäßig den technischen Zustand des Schiffs und seiner Ausrüstung, um das Schiff als Grundlage für die Versicherung in eine Klasse einzustufen.

5.3.2 Arbeitsbedingungen Zwischen unterschiedlichen Schiffstypen (z.B. Rohöltanker, Flüssiggastanker, Erzf-rachter, Containerschiff, Kühlschiff, Küstenmotorschiff, Fähre, Kreuzfahrtschiff), Be-triebsformen (Liniendienst / Bedarfsschifffahrt; Short-Sea / Deep-Sea) und nicht zuletzt verschiedenen Schiffsbetreibern finden sich große Unterschiede in den Arbeitsbedingun-gen der (Brücken-)Besatzung. Allgemein handelt es sich bei der Schiffsführung um eine Aufgabe, die in der Regel hohe Belastungen für die arbeitenden Menschen mit sich bringt, wobei sowohl Phasen der Unterforderung (z.B. Monotonie bei langen Strecken auf offener See ohne Umgebungsverkehr) als auch Phasen der Überforderung mit sehr hoher Arbeitsbelastung und hohem Zeitdruck (z.B. Ansteuerung, Unwetter, hohe Ver-kehrsdichte) auftreten können.

Auf der Schiffsbrücke herrscht ein 24-Stunden-Betrieb mit wechselnden Schichten (Wachzeiten). Der Arbeitseinsatz eines Nautikers auf See kann von einigen Tagen bis zu mehreren Monaten dauern. Währenddessen verbringt der Nautiker sowohl seine Arbeits-zeit als auch seine Freizeit / Ruhezeit an Bord und ist dabei unter Umständen dauerhaft


besonderen physischen (z.B. Vibrationen und Lärm durch Seegang, Maschinen, Bordar-beiten auf See oder Lade- /Löscharbeiten im Hafen) und psycho-sozialen Belastungs-faktoren (z.B. begrenzte Möglichkeit sozialer Kontakte, eingeschränkte Privatsphäre) ausgesetzt. Diese Faktoren begünstigen u.a. das Auftreten von Ermüdungserscheinungen bzw. Übermüdung (fatigue) durch unregelmäßigen Schlaf, geringe Schlafdauern und niedrige Schlafqualität über einen längeren Zeitraum (z.B. Jensen & Sorensen, 2004; McNamara et al., 2000; Pollard et al., 1990; Sanquist et al., 1997).

5.4 Untersuchungen und Befunde zur Mensch-Maschine-Interaktion auf der Schiffsbrücke

Entsprechend den verwendeten Methoden lassen sich verschiedene Ansätze zur Untersu-chung der Mensch-Maschine-Interaktion (MMI) auf der Schiffsbrücke unterscheiden:

• Nachträgliche Analyse von Seeunfällen

• Feldstudie

• Simulationsexperiment

• Laborexperiment

• Kognitive Aufgabenanalyse.

5.4.1 Nachträgliche Analyse von Seeunfällen

5.4.1.1 Vorgehensweise und ausgewählte Ergebnisse

Zur nachträglichen Untersuchung von Seeunfällen werden zum einen statistische Analy-sen oder Inhaltsanalysen einer Stichprobe von Unfällen (Datenbankanalysen), zum ande-ren qualitative Einzelfallanalysen durchgeführt. So geht die häufig getroffene Aussage, ca. 80% aller Seeunfälle seien durch „menschliches Versagen“ verursacht, auf statisti-sche Datenbankanalysen zurück. Dieser Prozentsatz gilt seit den 1970er Jahren als all-gemein anerkannt (Gray, 1978), auch wenn Moreton (2000) zeigt, dass der Anteil „menschlichen Versagens“ je nach Analysemethode, Klassifizierungsschema und Stich-probe deutlich zwischen 15% (Wagenaar & Groeneweg, 1988) und über 92% (Quinn & Scott, 1982) schwankt (alle Quellen in diesem Absatz zit. n. Moreton, 2000).

In neueren Datenbankanalysen wird ein großer Anteil der auf „menschliches Versa-gen“ attribuierten Seeunfälle mit einer mangelhaften Situation Awareness der Brücken-crew in Verbindung gebracht (z.B. Baker & McCafferty, 2005; Grech & Horberry, 2002). Eine finnische Studie (Merenkulkulaitos, 1997; zit. n. Moreton, 2000) identifiziert die Mensch-Maschine-Interaktion auf der Schiffsbrücke als einen wesentlichen Faktor, der „menschliches Versagen“ begünstigt. Auch die viel zitierte Einzelfallanalyse der Grundberührung der Royal Majesty (Lützhöft & Dekker, 2002) kommt zu dem Schluss,

46

dass die Verursachung dieses Unfalls der mangelhaften Gestaltung der Benutzungs-schnittstelle des Integrierten Brückensystems zugeschrieben werden kann18.

5.4.1.2 Allgemeine Bewertung

Probleme der nachträglichen Analyse von Seeunfällen bestehen in der schwankenden Qualität und mangelnden Standardisierung der Unfallberichte sowie in den unterschiedli-chen Klassifikationsschemata (Datenmodellen) der verschiedenen Unfalldatenbanken. Moreton (2000) bietet einen Überblick über existierende Klassifikationsschemata von Seeunfällen und schlägt zur Vereinheitlichung eine neue, speziell auf die systematische Analyse der Human Factors ausgerichtete Taxonomie vor, die sich jedoch bis heute nicht durchsetzen konnte.

5.4.2 Feldstudie


In Feldstudien wird die MMI auf der Schiffsbrücke im realen Arbeitskontext durch teil-nehmende Beobachtung deskriptiv untersucht (z.B. Baldauf & Motz, 2006; Koester, 2002; Lützhöft, 2004; Richter, 2002). Die Ergebnisse von Feldstudien zeigen u.a. eine hohe Anzahl von (Fehl-) Alarmen und Warnungen der technischen Systeme auf der Brü-cke (z.B. Baldauf & Motz, 2006), woraus der Bedarf für ein verbessertes, integriertes Alarm-Management abgeleitet werden kann. Derartige Befunde weisen darauf hin, dass sich der derzeitige Stand der Technik insgesamt durch eine für die Benutzer unzurei-chende Integration der einzelnen Systeme auszeichnet. Dabei betont Lützhöft (2004), dass auch Integrierte Brückensysteme (IBS) lediglich aus technischer Sicht integriert seien, und der Brückencrew keine ausreichende Unterstützung zur Erfüllung ihrer Auf-gaben böten, was sich insbesondere in Phasen hoher Arbeitsbelastung zeige.


Zur Erfassung des Status Quo und zum Aufdecken existierender Mängel und Schwach-stellen in der Praxis ist die teilnehmende Beobachtung sehr gut geeignet. Eine interessan-te Variante bietet die Aktionsforschung: Beispielsweise können Nautiker im Rahmen ihrer Ausbildung auf Aspekte der MMI-Gestaltung von Brückensystemen sensibilisiert werden, indem man sie nach einer Schulung über ergonomische Grundlagen während ihrer Praktika auf See vorgefundene MMI-Probleme dokumentieren lässt (Lützhöft et al., 2007). Auf diese Weise kann längerfristig die Nachfrage nach gebrauchstauglich gestal-teten Brückensystemen gefördert werden.

18 Im Falle der Royal Majesty war das Antennenkabel des GPS durchtrennt, worauf sich dieses System nach einer kurzen akustischen Meldung, die von der Brückenbesatzung nicht bemerkt wurde, automatisch in einen Modus schaltete, in dem es die Position ohne Satellitensignal „blind“ weiter berechnete bzw. schätzte (dead reckoning mode). Da der neue Modus nicht deutlich angezeigt wurde, handelte die Brü-ckenbesatzung weiter in dem Glauben, das GPS böte eine exakte Positionsbestimmung anstelle einer gro-ben Schätzung, was schließlich dazu führte, dass das Schiff auf Grund lief (vgl. Lützhöft & Dekker, 2002).


5.4.3 Simulationsexperiment


Moderne Schiffsführungssimulatoren ermöglichen eine realistische Abbildung der Auf-gabenumgebung einer Schiffsbrücke und des Manövrierverhaltens eines Schiffes unter kontrollierten Umweltbedingungen. Neben dem mittlerweile in den meisten Hochschulen und Akademien zum Standard gehörenden Einsatz im Rahmen der nautischen Ausbil-dung werden Schiffsführungssimulatoren auch zu Forschungszwecken genutzt. Insbe-sondere zur prospektiven Evaluation der Auswirkungen neuer technischer Systeme bietet sich die Durchführung von Simulationsexperimenten an, um die Mensch-Maschine-Interaktion systematisch zu überprüfen. Beispielsweise wurden ein Integriertes Navigati-onssystem (Smith et al., 1994), eine neue Prädiktionsanzeige für ARPA-Geräte (Breda, 2000a, 2000b), ein neues Unterstützungssystem für Anlegemanöver (Inoue & Tasker, 1990) und ein neuartiges Display zur Unterstützung der Navigation bei schlechter Sicht (Evanoff & Krebs, 2002) in Untersuchungsreichen in Schiffsführungssimulatoren evalu-iert, wobei jeweils positive Ergebnisse für die neuartigen Systeme berichtet werden.


Simulationsexperimente bieten durch die Teilnahme von ausgebildeten Nautikern in ei-nem realitätsnahen und gleichzeitig kontrollierten Setting ein großes Potenzial zur pro-spektiven Evaluation neuer Systeme und zur allgemeinen Untersuchung der MMI auf der Schiffsbrücke. Derzeit scheint dieses Potenzial noch relativ wenig erschlossen, da sich in der Literatur im Vergleich zu anderen Verkehrsträgern (Flugführung und -sicherung, Kfz-Führung) nur sporadisch Berichte über Experimente zur Untersuchung der MMI in Schiffsführungssimulatoren finden.

5.4.4 Laborexperiment Auch „klassische“ Laborexperimente befassen sich mit Aspekten der MMI auf der Schiffsbrücke. Beispielsweise untersuchen Sauer et al. (2002) mit einer Mikrowelt („CABOT“) den Effekt der Integration von Radar (ARPA) und elektronischer Seekarte (ECDIS). Während der Vorteil derartiger Untersuchungen in einer hohen internen Validi-tät bei relativ geringen Kosten liegt, muss die Übertragbarkeit auf die Praxis (externe Validität) von Ergebnissen, die aufgrund der Interaktion von Laien mit einer artifiziellen Mikrowelt gewonnen wurden, im Einzelfall überprüft werden.

5.4.5 Kognitive Aufgabenanalyse Neben den genannten empirischen Ansätzen werden zur Untersuchung der MMI bei der nautischen Schiffsführung auch Methoden der kognitiven Aufgabenanalyse (Cognitive Task Analysis, CTA) angewendet. Beispielsweise kombinieren Sanquist et al. (1996) die Methode des Operator Function Models (OFM: Mitchell & Miller, 1986; s.a. Cacciabue, 1998) mit einer selbst entwickelten Form der CTA für die Aufgabe der Navigation (San-quist et al., 1994), um zu untersuchen, wie sich die Aufgaben der Kollisionsverhütung,

48

der Reiseplanung sowie der Bahneinhaltung durch die Einführung von ARPA und EC-DIS im Vergleich zur Benutzung „traditioneller“ Radargeräte und Papier-Seekarten für die Nautiker verändern. Auf diese Weise leiten sie zum einen Lernziele für Trainings ab, die sich v.a. auf das prozedurale Wissen zur Benutzung der neuen Systeme beziehen, zum anderen ermitteln sie Schwachstellen in der Gestaltung der untersuchten Systeme.

Kapitel 6: NARIDAS 49

6 Das Navigational Risk Detection and Assessment System

Das Navigational Risk Detection and Assessment System (NARIDAS) ist ein SRA-Sys-tem für die nautische Schiffsführung. Der Ansatz von NARIDAS ist ausführlich von Ker-sandt (z.B. 2004, 2003b, 1995) beschrieben, der die Algorithmen zur Risikoberechnung auf der Basis umfassender Analysen zahlreicher Seeunfälle und kritischer Verkehrssitua-tionen entwickelte19. Eine wesentliche Grundlage dieses Ansatzes besteht in der Untertei-lung der Aufgabe der nautischen Schiffsführung in acht Teilaufgaben (s. 6.2). Für jede dieser Teilaufgabe berechnet NARIDAS jeweils einen Risiko-Wert, so dass sich acht partielle Risikowerte ergeben. Zusätzlich erzeugt das System aus der Zusammenfassung der acht partiellen Risikowerte einen „Total Risk“ Wert für das Gesamtrisiko der aktuel-len Situation.

6.1 Das Risikomodell Bild 15 zeigt eine Übersicht über den Aufbau des Risikomodells von NARIDAS. Als Input-Daten werden ca. 100 technische und physikalische Messwerte verarbeitet, die von unterschiedlichen Systemen und Sensoren stammen und über das Bord-Datennetzwerk des Schiffs im NMEA-Protokoll (s. 5.2) verfügbar sind. Zusätzlich müssen einige Input-Daten, die (noch) nicht über das Bordnetzwerk verfügbar sind, von den Benutzern manu-ell eingegeben und aktualisiert werden. Die Input-Variablen werden zunächst in einem Eingangsraster mit „harten“ mathematischen Algorithmen, die allgemeines nautisches Fachwissen repräsentieren (z.B. Berechnung der Stoppstrecke bei einer bestimmten Ge-schwindigkeit), vorverarbeitet und dabei auf ca. 25 Variablen höherer Ordnung („Pro-zessvariablen“) reduziert.

Für die anschließende Bestimmung der Risikowerte verwendet NARIDAS Fuzzy-Logik. Die Prozessvariablen werden fuzzyfiziert und zur Risikobewertung mit in der Regelbasis gespeicherten Referenzwerten abgeglichen. Die Referenzwerte repräsentieren das Expertenwissen über das in der jeweiligen Situation angemessene Verhalten (sog. „Gute Seemannschaft“). Da die „Gute Seemannschaft“ in Abhängigkeit der situativen Anforderungen variiert, werden die Referenzwerte adaptiert (siehe 6.3.).

19 Die Algorithmen sind in einem internen Forschungsbericht dargelegt (Kersandt, 2004), der der Geheim-haltung unterliegt. Für die Zielstellung der vorliegenden Arbeit ist ein Überblick über die Konzeption von NARIDAS ausreichend, ohne dass auf die Berechnung der Risikowerte im Detail eingegangen wird.

50

Bild 15: Generierung der Risikowerte durch NARIDAS

Die durch den Abgleich der aktuellen Prozessvariablen mit den Referenzwerten erhal-tenen Zugehörigkeitswerte zu Fuzzy-Mengen (z.B. „kleiner“/„normaler„/„großer“ Pas-sierabstand) werden für die dem jeweiligen partiellen Risiko zugeordneten Prozessvari-ablen aggregiert. Durch Defuzzyfizierung der aggregierten Zugehörigkeitswerte ergibt sich für jedes partielle Risiko ein Wert zwischen 0 und 1. Darüber hinaus schlägt Ker-sandt (2004) auch eine qualitative Kategorisierung der auf diese Weise generierten NA-RIDAS Risikowerte vor (Tabelle 3).

Tabelle 3: Qualitative Kategorisierung der NARIDAS-Risikowerte (Kersandt, 2004)

<0,4 0,4-0,54 0,55-0,74 0,75-0,79 0,8-0,84 0,85-0,9 >0,9

No Risk Attention Low Risk Medium Risk High Risk Danger Accident

6.2 Die partiellen Risiken Im Folgenden werden die acht partiellen Risiken skizziert. Dabei werden die inhaltliche Konzeption sowie die den partiellen Risiken zugeordneten Prozessvariablen dargestellt.

6.2.1 Collision (COL) Das partielle Risiko Collision (COL) bezieht sich auf die Teilaufgabe, andere Fahrzeuge und Anlagen sicher zu passieren. Als Prozessvariablen zur Berechnung von COL werden (1) der Passierabstand (closest point of approach, CPA), (2) die Passierzeit (time to clo-sest point of approach, TCPA), (3) der Abstand und (4) die Peilungsänderung pro Minute


für alle akquirierten Radarziele (Targets) verwendet. Diese Daten werden vom Radarsys-tem (ARPA) im NMEA-Protokoll übernommen. Für jedes Target wird das für die Be-gegnung mit dem Eigenschiff ausgehende Risiko zum aktuellen Zeitpunkt und zum Zeit-punkt des Passierens berechnet. Entsprechend ihren Risikowerten werden alle Targets in eine Rangreihe gebracht. Für die Bestimmung von COL werden die drei Targets mit dem höchsten Risiko zusammengefasst.

6.2.2 Grounding (GRD) Das partielle Risiko Grounding (GRD) bezieht sich auf die Teilaufgabe der Vermeidung von Grundberührungen, die dadurch entstehen, dass die Geschwindigkeit des Eigen-schiffs nicht an die natürlichen Begrenzungen des Seegebietes angepasst ist (z.B. Squat-Effekt20). Zur Bestimmung von GRD werden als Prozessvariablen (1) das Verhältnis der maximal möglichen zur tatsächlichen Geschwindigkeit im verfügbaren Manöverraum, (2a) das Verhältnis der kritischen Geschwindigkeit im freien Flachwasser zur aktuellen Geschwindigkeit bzw. (2b) das Verhältnis der sicheren Geschwindigkeit im begrenzten Fahrwasser zur aktuellen Geschwindigkeit verwendet. Der verfügbare Manöverraum eines Schiffes als Grundlage dieser Bewertungen wird dazu über die natürlichen Begren-zungen des Seegebietes (z.B. Wassertiefen) und die schiffsspezifischen Eigenschaften (z.B. Stoppstrecke) definiert. Die notwendigen dynamischen Eingangsdaten werden aus dem NMEA-Protokoll entnommen, während die schiffsspezifischen Eigenschaften ein-malig bei der langfristigen Anpassung der Wissensbasis eingegeben und im System ge-speichert werden (s. 6.3).

6.2.3 Track Keeping (TRA) Das partielle Risiko Track (TRA) bezieht sich auf die Teilaufgabe des Einhaltens der geplanten Bahn und eines ausreichenden Manöverraumes. Zur Berechnung dienen die Prozessvariablen (1) Wassertiefe unter dem Kiel, (2) Querabweichung nach Backbord oder Steuerbord von der geplanten Bahn, sowie (3) die Größe der Manöverraumdifferenz (MAD). Die MAD wird aus der geschwindigkeitsspezifischen, stoppstreckenabhängigen Größe des benötigten im Vergleich zum tatsächlich verfügbaren Manöverraum berech-net, der über einen Suchfächer ermittelt wird. Wiederum werden die dynamischen Input-Daten aus dem NMEA-Protokoll übernommen, während die statischen Daten im System gespeichert sind.

6.2.4 Traffic (TRF) Das Teilrisiko Traffic (TRF) bezieht sich auf die Art und Dichte des Umgebungsver-kehrs. Zur Bestimmung von TRF werden als Prozessvariablen (1) die Verkehrsdichte 20 Der Squat-Effekt bezeichnet die Änderung von Tiefgang und Trimm eines fahrenden Schiffes durch hydrodynamische Einflüsse. Die Stärke des Squat-Effektes ist abhängig vom Tiefgang, von der Fahrge-schwindigkeit und der Fahrwassergeometrie. Der Squat-Effekt kann dazu führen, dass das Schiff bei wenig Wasser unter dem Kiel vom Boden „angesaugt“ wird und es dadurch zu einer Grundberührung kommt.

52

(DENS) und (2) das Verhältnis von kurskreuzenden und parallel laufenden Fahrzeugen verwendet. Die Input-Daten für TRF werden über NMEA von ARPA übernommen. DENS bezeichnet die Anzahl der akquirierten Targets, die in Abhängigkeit vom „Navi-gation Mode“ (s. 6.3) für einen jeweils unterschiedlich definierten Umkreis (zwischen 12 nm und 1 nm) ermittelt wird.

6.2.5 Bridge Manning (MAN) Das partielle Risiko Bridge Manning (MAN) bezieht sich auf die Leistungsbereitschaft der Brückenbesatzung. Als Prozessvariablen zur Bestimmung von MAN werden (1) die Länge des Wachdienstes (WAD), (2) die Besetzung der Seewache (BRB) in Abhängig-keit von Navigation Mode (s. 6.3) und gesetzten Normen, sowie (3) die Ortszeit als Indi-kator für den zirkadianen Rhythmus der Wachoffiziere verwendet. Zur Bestimmung von WAD und BRB ist es notwendig, dass sich die Besatzungsmitglieder bei Antritt und Be-endigung der Wache in das System ein- bzw. ausloggen.

6.2.6 Environment (ENV) Das Teilrisiko Environment (ENV) bezieht sich auf die meteorologischen und hydrolo-gischen Bedingungen. Zur Bestimmung von ENV werden die Prozessvariablen (1) Wel-lenhöhe, (2) Rollwinkel, (3) Abdriftwinkel, sowie (4) die Größe der Annäherung des ei-genen Kurses an den reinen Resonanzkurs (RES) verwendet. Die Eingangsdaten sind z.T. über NMEA verfügbar oder werden von den Benutzern manuell eingegeben. RES wird auf Grundlage der übrigen Eingangsdaten sowie Kurs- und Geschwindigkeit des Eigen-schiffs von NARIDAS berechnet.

6.2.7 Engine/Wheel (ENG) Das Teilrisiko Engine/Wheel (ENG) bezieht sich auf den Zustand der Antriebs- und Steueranlagen des Schiffes. Zur Bestimmung von ENG werden als Prozessvariablen je-weils Soll- und Ist-Werte von Parametern der Haupt- und der Rudermaschine miteinan-der verglichen. Dabei werden für die Hauptmaschine (1) Leistung, (2) Drehzahl und (3) Abgastemperatur, für die Rudermaschine (4) maximaler Ruderwinkel, (5) Ruderlegezeit und (6) Ruderlagenabweichung betrachtet.

6.2.8 Economy (ECO) Das partielle Risiko Economy (ECO) bezieht sich auf die Erfüllung der wirtschaftlichen Kriterien der Reise. Die zur Ermittlung von ECO verwendeten Prozessgrößen beziehen sich auf die Einhaltung des Reiseplanes, wobei drei Verhältnisse bewertet werden: (1) zwischen der aktuellen und der geplanten (ökonomischen) Reisegeschwindigkeit, (2) zwischen der mit der gegenwärtig Geschwindigkeit zu erwartenden und der geplanten Ankunftszeit (estimated time of arrival, ETA) am Bestimmungsort, sowie (3) das ent-sprechende Treibstoffkostenverhältnis.


6.3 Adaptation der Wissensbasis Das Grundprinzip der Risikobewertung von NARIDAS besteht darin, die Werte der ak-tuellen Situation mit den in der Wissensbasis gespeicherten Referenzwerten für die „Gute Seemannschaft“ zu vergleichen. Da es sich bei den situativen Risiken der Schiffsführung um kontextabhängige Größen handelt, werden die Referenzwerte in der Wissensbasis in Abhängigkeit vom Reiseabschnitt adaptiert (siehe 6.3.3). Auch schiffs- und reisespezifi-sche Anpassungen sind erforderlich.

6.3.1 Schiffsspezifische Daten Bei der Installation von NARIDAS werden schiffsspezifische Eigenschaften eingegeben (z.B. Manövriereigenschaften wie Stoppstrecken bei unterschiedlichen Geschwindig-keiten, Soll-Werte für Parameter der Haupt- und Rudermaschine wie Maschinenleistung oder maximaler Ruderwinkel). Diese festen Charakteristika des Eigenschiffes sind Be-standteil der Algorithmen für die Bewertung der partiellen Risiken GRD, TRA, ENG.

6.3.2 Reisespezifische Daten Zur Berechnung des Teilrisikos Economy (ECO) benötigt NARIDAS Daten der Reise-planung (z.B. geplante Route, Reisegeschwindigkeit und Ankunftszeit). Diese Daten können prinzipiell automatisch aus einem elektronischen System zur Reiseplanung (z.B. ECDIS) übernommen werden.

6.3.3 Reiseabschnittsspezifische Adaptation (Navigation Mode) NARIDAS differenziert zwischen sechs verschiedenen Navigation Modes, die sich durch charakteristische Merkmale und stark unterschiedliche Aufgabenanforderungen an die Wachoffiziere auszeichnen. Die reiseabschnittsspezifische Adaptation der NARIDAS Wissensbasis bildet diese Anforderungen durch unterschiedliche Referenzwerte für „Gu-te Seemannschaft“ ab. Kersandt (2004) beschreibt die Navigation Modes wie folgt:

• Open Sea (Offene See): Vereinzelte Begegnungssituationen aus allen Richtungen; große Passierabstände; großer verfügbarer Manöverraum nach allen Seiten; unbe-grenzte Geschwindigkeit; viel Zeit für Entscheidungen; großer Handlungsspielraum; zeitweilige Bahnabweichungen aus nautischer Sicht unkritisch.

• Coastal Area (Küstengebiet): Häufige Begegnungssituationen in der Regel parallel zur Küste, aber auch querlaufender Verkehr; kleinere Passierabstände als auf offener See; Manöverraum mindestens zu einer Seite (Landseite) begrenzt; Geschwindigkeit bei ausreichender Wassertiefe unbegrenzt; häufige Bahnkontrolle erforderlich; mit-telgroße Entscheidungszeit; Handlungsspielraum eingeschränkt.

54

• Traffic Separation Scheme (Verkehrstrennungsgebiet21): Häufige Begegnungs-situationen (meistens parallel mit kleinen Passierabständen und großen Passierzeiten) als Überholer oder überholtes Fahrzeug; querlaufender Verkehr an Ballungspunkten mit engen Begegnungen; Manöverraum ausreichend aber bei langen Passierzeiten vorausschauend zu beachten; Geschwindigkeit bei ausreichender Wassertiefe unbe-grenzt; Ortungsintervalle und Bahnkontrolle von der Breite und Besonderheit der Verkehrswege abhängig; kleine Entscheidungszeiten bei Querverkehr, große Ent-scheidungszeiten mit Handlungsänderungen bei Parallelverkehr; Handlungsspielraum eingeschränkt; „ungeordnete“ Verkehrslage im Anfangs- und Endbereich.

• Approaching (Ansteuerung): Begegnungssituationen aus allen Richtungen mit Fahr-zeugen von unterschiedlichem KVR22-Status; dichte Passierabstände; stark einge-schränkter Manöverraum; i.d.R. reduzierte Geschwindigkeit; ständig wechselnde Si-tuationen und Entscheidungshintergründe; genaue Bahnplanung erforderlich; konti-nuierliche Bahnkontrolle bei Annäherung; operative Anpassung der Bahnführung an die lokal vorgefundene Situation; Entscheidungszeit und Handlungsspielraum klein; Umwelteinflüsse (Strom, Wind) und Manövriereigenschaften/-verhalten sicherheits-relevant; Konzentration der Aufmerksamkeit auf seriell und zeitlich stark kompri-miert ablaufende Prozesse.

• Fairway (Fahrwasser): Begegnungssituationen meistens parallel mit Fahrzeugen von unterschiedlichem KVR-Status; dichte Passierabstände; insbesondere nach den Seiten stark eingeschränkter Manöverraum; genaue und ständige Überwachung der Bahn er-forderlich; in der Regel reduzierte Geschwindigkeit; ständig wechselnde Situationen und Entscheidungshintergründe; Entscheidungszeit und Handlungsspielraum sehr klein; Umwelteinflüsse (Strom, Wind) und Manövriereigenschaften/-verhalten si-cherheitsrelevant; Konzentration der Aufmerksamkeit in der Regel auf das unmittel-bar bevorstehende Problem.

• At Anchor (Vor Anker): Bei Annäherung häufig sehr kleine Passierabstände und in der Regel ausschließlich eigene Handlungspflicht; geringe Geschwindigkeit; einge-schränkter Manöverraum durch geografische oder künstliche Grenzen; Suche eines möglichst ungestörten Ankerplatzes unter Beachtung der lokalen Besonderheiten (Wassertiefe, Grundbeschaffenheit, Seeraum); Konzentration vorrangig auf das Ma-növrieren des Fahrzeuges; Entscheidungszeit und Handlungsspielraum wegen der ge-ringen Fahrtgeschwindigkeit genügend groß; beim Liegen vor Anker in der Regel vorrangige Kontrolle des Anker-Ortes und der Annäherung von anderen Fahrzeugen oder an andere Fahrzeuge/Objekte.

21 Verkehrstrennungsgebiete sind ähnlich wie Autobahnen aufgebaut und bestehen aus für jede Fahrtrich-tung vorgegebenen Zonen sowie einer Trennlinie/-zone in der Mitte, deren Befahrung verboten ist. 22 KVR = Kollisionsverhütungsregeln; KVR-Status bezieht sich hier auf die „Vorfahrtsregelung“


6.4 Benutzungsschnittstelle (HMI) Das HMI von NARIDAS ist eine grafische Benutzungsoberfläche (Graphical User Inter-face, GUI), deren Hauptfunktion in der Anzeige der Risikowerte besteht23. NARIDAS bietet drei unterschiedliche Arten der Anzeige: (1) das Überblicksfenster (Overview), sowie für die einzelnen Teilrisiken jeweils (2) die Detailansicht (Details) und (3) die Verlaufsansicht (Development). Da die Verlaufsansicht in den vorliegenden Untersu-chungen nicht im Fokus stand, werden im Folgenden das Overview und das Details Fens-ter beschrieben.

6.4.1 Overview Fenster Im Overview Fenster (Bild 16) sind die Werte für die Teilrisiken in Form eines Balken-diagramms dargestellt. Die Höhe des Risikos ist dabei über Länge und Farbe der Balken doppelt kodiert24. Für alle drei Ansichtsarten (Overview, Details, Development) sind die Buttons in der Kopfleiste sowie die im rechten Viertel des Fensters angezeigten allge-meinen Informationen (General Information; z.B. Kurs und Geschwindigkeit des Eigen-schiffs) identisch.

Bild 16: Overview Fenster

23 Im Verlauf der in dieser Arbeit geschilderten Untersuchungen wurde das GUI von NARIDAS aufgrund der in der Evaluation gewonnenen Erkenntnisse mehrfach modifiziert (s. 7.3.2 für einen Überblick über die Änderungen). Die hierbei vorgenommenen Änderungen betreffen in erster Linie gestalterische Details. Der grundlegende Aufbau des GUI wurde positiv evaluiert und daher beibehalten. In diesem Abschnitt wird die aktuell vorliegende Version des GUI beschrieben, wie sie in Studie II (Kap. 8) verwendet wurde. 24 von grün = sehr geringes bis rot = sehr hohes Risiko

56

Die Buttons in der Kopfleiste dienen der Navigation zwischen den Ansichten (Main Sheet Navigation), sowie zur manuellen Eingabe und Aktualisierung von Input-Daten, die nicht über das Bord-Datennetzwerk verfügbar sind (Additional Data Setup, z.B. Ein-/ Ausloggen bei Antritt/Ende der Seewache). Auch durch das Betätigen der Buttons mit den Bezeichnungen der Teilrisiken in der linken vertikalen Menüleiste kann in das De-tails Fenster des jeweiligen Teilrisikos gewechselt werden.

Bild 17: Details Fenster (für COL)

6.4.2 Details Fenster Für jedes Teilrisiko bietet NARIDAS jeweils ein Details Fenster, in dem die Hintergrün-de der Risikobewertung angezeigt werden. Damit stellt das Details Fenster eine Erklä-rungskomponente dar, die den Benutzern die Risikoberechnungen durch NARIDAS transparent und nachvollziehbar macht. Das Fenster ist in drei Felder aufgeteilt (Bild 17 für das Beispiel des Teilrisikos Collision):

1. Das Feld Details zeigt tabellarisch die aktuellen Werte der für die Berechnung des Teilrisikos berücksichtigten Prozessvariablen. Auf diese Weise werden den Benut-zern die Eingangsdaten präsentiert, die die Grundlage der Risikoberechnung bilden. Im Beispiel für COL (Bild 17) sind dementsprechend die wesentlichen Parameter der drei Targets mit den höchsten Risikowerten aufgeführt (vgl. 6.2.1).

2. Das Feld Causes zeigt die durch die NARIDAS Wissensbasis vorgenommenen Bewertungen der Eingangsdaten. Dabei wird der aufgrund des momentanen Navi-gation Modes aktivierte Referenzwert für die „Gute Seemannschaft“ angezeigt, so-wie die durch den Abgleich mit dem Referenzwert erhaltene qualitative Bewertung der relevanten Eingangsdaten.


3. Das Feld Recommendations zeigt Handlungsempfehlungen an, die NARIDAS aus der Bewertung der aktuellen Situation ableitet. Da NARIDAS primär auf die Un-terstützung der Situationseinschätzung abzielt (Aufmerksamkeitsassistenz, s. 3.2.2) und die angesichts der Situation zu treffenden Entscheidungen dem Menschen ü-berlässt, sind diese Empfehlungen allgemein gehalten (z.B. „Emergency Manoeuv-re“) und beinhalten keine Anweisungen für konkrete Manöver (z.B. „Legen Sie so-fort Kurs 35° und reduzieren Sie die Geschwindigkeit“). Durch die Recommendati-ons bietet NARIDAS zusätzlich zur Aufmerksamkeitsassistenz eine rudimentäre Form der Entscheidungsassistenz.

6.5 Mögliche Einsatzbereiche für NARIDAS Gegenstand dieser Arbeit ist die Evaluation von NARIDAS als SRA-System für die nau-tische Schiffsführung. Neben dieser Funktion als Assistenzsystem auf der Schiffsbrücke bieten sich für NARIDAS noch eine Reihe weiterer möglicher Einsatzbereiche an. Ers-tens könnten im Bereich der operativen Schiffsführung die situativen Risikowerte online von mit NARIDAS ausgestatteten Schiffen an landseitige Einrichtungen transferiert wer-den. Hierdurch könnten beispielsweise die Risikowerte aller Schiffe, die sich im Über-wachungsbereich einer Schiffsleitzentrale (Vessel Traffic Service, VTS) befinden, von der VTS gesammelt werden, um den Verkehrsfluss zu optimieren. Für einen Reeder böte die Übersicht über den momentanen „Risikozustand“ der Schiffe seiner Flotte ein Über-wachungs- und Planungswerkzeug für die Optimierung des Flottenmanagements.

Zweitens eignet sich NARIDAS zur nachträglichen Bewertung von Reisedaten, die mit einem Voyage Data Recorder aufgezeichnet wurden. In diesem Kontext könnte NA-RIDAS die Analyse und Rekonstruktion von Situationsverläufen unterstützen, die zu einem Unfall oder Zwischenfall geführt haben. Drittens könnte NARIDAS zu Ausbil-dungs- und Trainingszwecken im Schiffsimulator eingesetzt werden. Hier bietet es sich zum einen an, den Trainierenden durch die Anzeige der momentan von ihnen gefahrenen situativen Risiken ein direktes Feedback über ihr Navigationsverhalten zu präsentieren. Zum anderen können die während einer Simulatorfahrt aufgezeichneten NARIDAS-Risikowerte als Grundlage für ein standardisiertes Maß zur Bewertung der Leistung bzw. der Kompetenz der Trainierenden verwendet werden (vgl. Kersandt, 2003a).

6.6 Entwicklungsbegleitende Evaluation von NARIDAS Entsprechend dem allgemeinen Rahmenkonzept zur entwicklungsbegleitenden Evaluati-on von SRA-Systemen (s. Kap. 4) wird bei der Entwicklung von NARIDAS ein parallel-iterativer Ansatz verfolgt. In den folgenden Kapiteln werden zwei empirische Evaluati-onsstudien geschildert, die den Kern der vorliegenden Arbeit bilden. Sie wurden in der Phase der Konzeption durchgeführt, nachdem zum Abschluss der Phase des Detailent-wurfs ein Prototyp vorlag, der das vollständige Risikomodell und die graphische Benut-zungsoberfläche von NARIDAS repräsentierte.

58

Das Hauptziel der geschilderten Evaluationsstudien bestand darin, die Anwendbarkeit und Nützlichkeit des Rahmenkonzepts zur entwicklungsbegleitenden Evaluation von SRA-Systemen am Beispiel von NARIDAS zu demonstrieren. Dabei sollten durch die systematische Überprüfung der im Rahmenkonzept vorgeschlagenen Evaluationskriterien erstens Ansatzpunkte zur weiteren Optimierung von NARIDAS identifiziert werden. Zweitens wird untersucht, in wie weit sich der in NARIDAS realisierte Ansatz der SRA-Assistenz auf andere Domänen übertragen lässt. Drittens werden aus der Evaluation von NARIDAS allgemeine Implikationen zur Bewertung und Gestaltung von SRA-Systemen abgeleitet.

In den beiden Evaluationsstudien wurden entsprechend dem erreichten Stand der Ent-wicklung von NARIDAS unterschiedliche Schwerpunkte gewählt. Für Studie I lag ein statischer Prototyp von NARIDAS vor, der die Risikobewertungen für vordefinierte Ver-kehrsszenen sowie eine interaktive grafische Benutzungsoberfläche (GUI) beinhaltete. Noch vor dem Einsatz dieses Prototyps in Studie I wurde die Gestaltung des GUI in einer Voruntersuchung einer heuristischen Evaluation durch fünf Usability-Experten unterzo-gen. Diese heuristische Evaluation diente der Absicherung, um vor der Durchführung der Hauptuntersuchung potenzielle offensichtliche Gestaltungsmängel beseitigen zu können. Eine Beschreibung der Vorgehensweise und Ergebnisse der heuristischen Evaluation des statischen Prototyps findet sich bei Deffland (2004). Insgesamt wurde das GUI von den Usability-Experten positiv beurteilt. Kritik bezog sich eher auf gestalterische Details denn auf den grundsätzlichen Aufbau des GUI. Dementsprechend wurde der Schwer-punkt von Studie I auf die Untersuchung der Güte der Risikobewertungen gelegt, daneben wurden als weitere Kriterienbereiche die Gestaltung des GUI und die Akzeptanz des Systems thematisiert.

Bild 18: Untersuchte Kriterienbereiche der beiden empirischen Evaluationsstudien

Nach der Auswertung von Studie I und aufgrund der Evaluationsergebnisse vor-genommenen Anpassungen wurde ein voll funktionsfähiger Prototyp realisiert, der die situativen Risiken dynamisch berechnete. Mit diesem dynamischen Prototyp wurde in Studie II der Schwerpunkt auf die Evaluation der Effektivität der von NARIDAS gebote-


nen Assistenz gelegt, da in Studie I keine besonderen Probleme in den Kriterienbereichen Gestaltung des GUI und Akzeptanz des SRA-Systems identifiziert worden waren. Zur Kontrolle dieses Befundes wurden diese beiden Kriterienbereiche in Studie II ebenfalls mit berücksichtigt. Bild 18 zeigt eine Übersicht der in den beiden Evaluationsstudien betrachteten Kriterienbereiche.

60

7 Evaluationsstudie I: Statischer Prototyp Studie I wurde in zwei Erhebungsreihen im September 2004 und August 2005 in War-nemünde durchgeführt25. Die zweite Erhebung diente der Replikation der in der ersten Erhebung gewonnenen Ergebnisse mit einem optimierten Prototyp.

7.1 Ziele und Evaluationskriterien Das Hauptziel von Studie I ist die Untersuchung der Güte der in NARIDAS implemen-tierten Algorithmen zur Bewertung der situativen Risiken der nautischen Schiffsführung. Zu diesem Bereich wurden die folgenden Evaluationskriterien überprüft (vgl. 4.7):

1. Reliabilität

a. Reliabilität des Risiko-Konstrukts

b. Reliabilität des Risiko-Modells

c. Klassifikationsgüte des Risiko-Modells

2. Validität

a. Validität der Risiko-Berechnungen

b. Validität der Konzeption des Risiko-Modells

Zusätzlich zu diesen Kriterien werden in Studie I auch die Gestaltung des GUI und die Akzeptanz thematisiert. Die Ergebnisse zu diesen Kriterien werden mit den ent-sprechenden Resultaten aus Studie II zusammenfassend dargestellt (s. 8.4.6).

7.2 Fragestellungen und Operationalisierung der Kriterien Zur Operationalisierung der Evaluationskriterien wird eine Kombination von quantitati-ven und qualitativen Verfahren eingesetzt.

7.2.1 Reliabilität Die Evaluationskriterien Reliabilität des Risiko-Konstrukts sowie Reliabilität und Klassi-fikationsgüte des Risiko-Modells werden durch die Erhebung von Expertenurteilen zu den situativen Risiken ausgewählter Verkehrsszenen operationalisiert. Dabei werden die folgenden Fragestellungen untersucht:

• Reliabilität des Risiko-Konstrukts: Wie hoch ist die Übereinstimmung bei der Be-wertung der situativen Risiken der nautischen Schiffsführung zwischen unterschiedli-

25 Bei beiden Erhebungsreihen waren Instruktionen, Ablauf und die verwendeten Verkehrsszenarien iden-tisch. Aufgrund der Ergebnisse der ersten Erhebung wurden einige Modifikationen am verwendeten NA-RIDAS Prototypen vorgenommen. Diese Modifikationen betrafen die Optimierung der Gestaltung des GUI (s. 7.3.2), sowie die Feinjustierung der Algorithmen einzelner Teilrisiken. Zudem wurde in der zweiten Erhebung die Zahl der zu beurteilenden Verkehrsszenen (s. 7.3.1) von 17 auf 14 reduziert, um die zeitliche Belastung der teilnehmenden Experten zu verringern.

Kapitel 7: Evaluationsstudie I 61

chen Experten? Gibt es ein gemeinsames Risiko-Verständnis der Experten oder erge-ben sich bei den Risiko-Urteilen große interindividuelle Differenzen?

• Reliabilität des Risiko-Modells: Wie hoch ist die Übereinstimmung der Bewertung der situativen Risiken zwischen den Experten und NARIDAS?

• Klassifikationsgüte des Risiko-Modells: Wie häufig kommt es bei den Risikobe-wertungen von NARIDAS zu Auslassungen und Fehlalarmen, bezogen auf die Risi-kourteile der Experten?

Für die Reliabilität des Risiko-Konstrukts wird als allgemeiner Indikator der Intra-class-Korrelationskoeffizient der Risiko-Urteile der Experten berechnet. Dieser Koeffi-zient ist ein etabliertes Maß zur Bewertung der Beurteiler-Übereinstimmung (Inter-Rater Reliabilität) in psychologischen Untersuchungen (Shrout & Fleiss, 1979, zit. n. Bortz & Döring, 2005). Zur Bewertung der Reliabilität des Risiko-Modells werden die Interkorre-lationen zwischen den einzelnen Experten mit den bivariaten Korrelationen zwischen den Experten und NARIDAS verglichen.

Für die Klassifikationsgüte des Risiko-Modells werden zunächst Auslassungen und Fehlalarme identifiziert (s. 4.2.1). Auf dieser Grundlage werden als Indikatoren Segre-ganz (Trennfähigkeit bzw. negativer Vorhersagewert) und Relevanz (Wirksamkeit bzw. positiver Vorhersagewert) bestimmt, da diese Indikatoren eine höhere Aussagekraft als die bloße Auslassungs- bzw. Fehlalarmrate haben (Gigerenzer, 2004). Die Segreganz gibt die Wahrscheinlichkeit an, dass ein vom Risiko-Modell als unkritisch bewertetes Risiko auch tatsächlich (d.h. im Vergleich zu den Experten-Urteilen) unkritisch ist. Umgekehrt ist die Relevanz die Wahrscheinlichkeit, dass ein vom Risiko-Modell als kritisch bewer-tetes Risiko auch tatsächlich kritisch ist.

7.2.2 Validität Zur Evaluation der Inhaltsvalidität wird eine qualitative Analyse vorgenommen. Als Ausgangspunkt der qualitativen Analyse werden über einen Fragebogen allgemeine Be-wertungen der Experten zu den Risiko-Berechnungen und der Konzeption des Risiko-Modells erhoben. Hierbei ergeben sich die folgenden Fragestellungen:

• Validität der Risiko-Berechnungen: In wie weit halten die Experten die von NA-RIDAS berechneten Werte für nachvollziehbar? Gibt es bestimmte Fälle, in denen die Abweichungen zwischen den Werten des Risiko-Modells und den Experten-Urteilen besonders kritisch sind, und wenn ja, was sind die Gründe?

• Validität der Konzeption des Risiko-Modells: Wie beurteilen die Experten die grundlegende Unterteilung der situativen Risiken der nautischen Schiffsführung in die acht partiellen Risiken?

62

7.2.3 Zielwerte für die quantitativen Evaluationskriterien Zielwerte, die für die Evaluationskriterien zur Güte der Risiko-Berechnungen erreicht werden sollten, lassen sich wie folgt begründen:

• Reliabilität des Risiko-Konstrukts: Allgemein sollte ein guter Test eine Reliabilität von mindestens 0,8 aufweisen, ab 0,9 gilt die Reliabilität als hoch (Bortz & Döring, 2005). Dementsprechend sollte die durchschnittliche Intraclass-Korrelation der Risi-ko-Urteile der Experten mindestens einen Koeffizienten von 0,8 erreichen.

• Reliabilität des Risiko-Modells: Die Korrelationen zwischen Risiko-Modell und Experten-Urteilen sollten statistisch signifikant sein (p<.01) und in einem ähnlich ho-hen Bereich liegen wie die Interkorrelationen der Experten.

• Klassifikationsgüte des Risiko-Modells: Die Segreganz sollte möglichst nahe an 100% liegen, da Auslassungen sicherheitskritisch sein können (s. 4.6). Dies sollte je-doch nicht mit einer niedrigen Relevanz „erkauft“ werden, d.h. die Relevanz sollte ebenfalls möglichst hoch sein (>90%).

7.3 Methoden

7.3.1 Verkehrsszenen An einem TRANSAS PC-Schiffsimulator wurden vier Verkehrsszenarien konstruiert, die einen weiten Bereich an unterschiedlichen nautischen Anforderungen und Risikosituatio-nen abbilden. Aus den Verkehrsszenarien, die zwischen 8 und 16 Minuten dauerten, wurden jeweils zwischen drei und fünf Zeitpunkte als statische Schnappschüsse (Ver-kehrsszenen) für die Risikobewertung ausgewählt. Insgesamt bewerteten die Experten 17 (1. Erhebungsreihe) bzw. 14 (2. Erhebungsreihe) Verkehrsszenen:

• Szenario G: Durchquerung Straße von Gibraltar in östlicher Richtung mit einem Con-tainerschiff; Navigation Mode: Verkehrstrennungsgebiet; Szenario beinhaltet hohe NARIDAS-Risikowerte für COL sowie erhöhtes Risiko für MAN, ENV, ENG und ECO; zur Bewertung ausgewählte Szenen26: G1, G2, G3, (G4), G5.

• Szenario L: Ansteuerung von Livorno mit einer Fähre; Navigation Mode: Approach; Szenario beinhaltet hohe NARIDAS-Risikowerte für COL sowie erhöhtes Risiko für ECO; zur Bewertung ausgewählte Szenen: L1, L2, L3, L4, (L5).

• Szenario D: Auslaufen im Fahrwasser von Calais in Richtung Dover mit einer Fähre; Navigation Mode: Fairway; Szenario beinhaltet hohe NARIDAS-Risikowerte für COL, GRD und TRA sowie erhöhtes Risiko für ECO; zur Bewertung ausgewählte Szenen: (D1), D2, D3, D4.

26 Bei der 1. Erhebung wurden alle der genannten Szenen verwendet, während bei der 2. Erhebung auf die in Klammern gesetzten Szenen verzichtet wurde.


• Szenario O: Führung eines Schiffes mit sehr trägen Manövriereigenschaften („Super-tanker“) auf offener See unter verminderter Sicht; Navigation Mode: Open Sea; Sze-nario beinhaltet hohe NARIDAS-Risikowerte für ENV, erhöhtes Risiko für ECO; zur Bewertung ausgewählte Szenen: O1, O2, O3.

Detaillierte Beschreibungen der Verkehrsszenarien finden sich in Anhang A.

7.3.2 Prototyp und Demonstrator Für die Untersuchung wurde ein statischer Prototyp entwickelt. Dieser Prototyp wurde in Visual Basic für Excel erstellt und stellt ein interaktives GUI von NARIDAS dar. Die auf dem GUI dargestellten Risikowerte und Verkehrsdaten im Details-Fenster stammten aus den statischen Verkehrsszenen (s. 7.3.1), die in MS Excel Tabellenblättern abgelegt wa-ren. Der Prototyp wurde von den Benutzern per Maus bedient, wobei die Eingaben auto-matisch protokolliert wurden (logfile recording). Konzeption und Gestaltung des in Stu-die I verwendeten Prototyps sind von Deffland (2004) ausführlich beschrieben.

Bild 19: NARIDAS GUI (Overview) der ersten (links) und zweiten Erhebung (rechts) von Studie I

Für die zweite Erhebungsreihe wurden an dem GUI des Prototyps die folgenden Ver-änderungen vorgenommen (Bild 19): (1) Umbenennung von Teilrisiken entsprechen den Vorschlägen der Experten in der ersten Erhebung27; (2) Änderung der Anordnung der Teilrisiken im Balkendiagramm (Overview) (in der 2. Erhebung absteigend nach von den Experten der 1. Erhebung empfundener Wichtigkeit sortiert); (3) Änderungen in der farb-lichen Gestaltung (1. Erhebung: Hintergrund farblich abgestuft mit dominierenden Rot-Tönen, Balken einfarbig; 2. Erhebung: Hintergrund in dezenteren Grau-Tönen; Balken farblich abgestuft nach Risikohöhe); (4) Zusammenfassung zweier Fenster (1. Erhebung: „Details“ und „Causes & Recommendations“) im Details Fenster; (5) Verzicht auf ein alternatives Polardiagramm (Bild 20) zur Anzeige der Risikowerte28.

27 Umbenannt wurden Target (1. Erhebung) in Collision (2. Erhebung), Speed in Grounding, Human in Manning, Availability in Engine und Voyage in Economy. 28 In der ersten Version des statischen Prototyps wurde den Nutzern die Möglichkeit angeboten, im Over-view-Fenster je nach individueller Präferenz zwischen den Ansichten Balkendiagramm und Polardiagramm

64

Bild 20: NARIDAS Overview-Fensters mit Polardiagramm in der 1. Erhebung

Der NARIDAS Prototyp wurde für die Untersuchung in einen Demonstrator imple-mentiert (Bild 21). Neben einem Monitor mit dem NARIDAS Prototypen bot der De-monstrator jeweils einen Monitor mit Screenshots von elektronischem Seekartensystem (ECDIS) und Radarsystem (ARPA). Bei Auswahl einer bestimmten Verkehrsszene über den NARIDAS Prototypen durch den Versuchsleiter (VL) wurden automatisch die ent-sprechenden ARPA- und ECDIS-Screenshots dieser Szene geladen.

Bild 21: NARIDAS Demonstrator (v.l.n.r.: ECDIS, NARIDAS, ARPA)

7.3.3 Datenerhebung und Instrumente

7.3.3.1 Demografischer Fragebogen

Mit einem demografischen Fragebogen (siehe Anhang B) wurden Daten zum persönli-chen und nautischen Hintergrund der Untersuchungsteilnehmer erfasst (Alter, Ausbil-dung, Art des Patents, Erfahrungen auf See).

zu wählen. Da diese Auswahlmöglichkeit und das Polardiagramm sowohl die Usability-Experten in der heuristischen Evaluation (vgl. 6.6) als auch die nautischen Experten in der 1. Erhebung als unnötig beur-teilten, wurde in den Folgeversionen des Prototyps auf das Polardiagramm verzichtet.


7.3.3.2 Fragebogen zur Risikobewertung (RISK-Q)

Zur Erhebung der Risikourteile der Experten zu den Verkehrsszenen wurde der Fragebo-gen RISK-Q entwickelt (siehe Anhang C). Die Gestaltung dieses Fragebogens orientiert sich an dem Balkendiagramm des Overview Fensters des NARIDAS GUI. Die partiellen Risiken sind zeilenweise angeordnet, mit der Bezeichnung des Teilrisikos am Zeilenan-fang. Die Aufgabe der Experten besteht darin, die Höhe jedes Teilrisikos für den Zeit-punkt der zu beurteilenden Verkehrsszene auf einer Skala von 0 bis 1 durch ankreuzen zu bewerten. In der mündlichen Instruktion wurden die beiden Pole der Skala als „kein Ri-siko“ (0) und „extrem hohes Risiko“ (1) beschrieben.

7.3.3.3 Fragebogen zu Gebrauchstauglichkeit und Akzeptanz (USE-Q)

Zur Beurteilung der Gestaltung des GUI, der Gebrauchstauglichkeit und der Akzeptanz von NARIDAS in Studie I wurde der USE-Q entwickelt, der aus 3 Teilen besteht (s. An-hang D):

• Teil 1: Gebrauchstauglichkeit: Basierend auf der System Usability Scale (SUS, Brooke, 1996) wurden zehn Aussagen (Items) formuliert, die sich auf allgemeine Gebrauchstauglichkeitskriterien beziehen (z.B. Aufgabenangemessenheit: „Ich finde ein solches Assistenzsystem für die Schiffsführungsaufgabe sinnvoll“; Kompetenz-förderlichkeit: „NARIDAS kann dazu beitragen, die Kompetenz von Schiffsführern zu erhöhen“). Die Experten geben das Ausmaß ihrer Zustimmung zu diesen Aussa-gen auf einer fünfstufigen Rating-Skala an (von 0=„trifft gar nicht zu“ bis 4=„trifft völlig zu“). Zur Auswertung wird über die 10 Items ein Summenscore gebildet (wo-bei zwei negativ formulierte Items umgepolt werden), der mit 2,5 multipliziert wird, so dass sich für SUS eine Skala von 0 („keine Gebrauchstauglichkeit“) bis 100 („per-fekte Gebrauchstauglichkeit“) ergibt, die einen groben Richtwert zur Beurteilung der Gebrauchstauglichkeit von NARIDAS durch die Experten bietet.

• Teil 2: Gestaltung des GUI: Dieser Teil wurde nach Auswertung der Ergebnisse der 1. Erhebung und entsprechend den an NARIDAS vorgenommenen Veränderungen für den Einsatz in der 2. Erhebung leicht gekürzt. Die zuletzt verwendete Fassung enthält insgesamt 15 Aussagen zu (1) den von NARIDAS gebotenen Funktionen und der Informationsdarstellung (5 Items, z.B. „Es fehlen wichtige Informationen und/oder Funktionen“), (2) der Benutzung (5 Items, z.B. „Das System ist umständlich zu benutzen“) und (3) der Gestaltung des GUI (5 Items, z.B. „Die grafische Darstel-lung des Zustandes der Teilrisiken ist übersichtlich“). Wiederum wird das Ausmaß der Zustimmung zu den Aussagen mit einer fünfstufigen Rating-Skala erfasst. Für diesen Teil des Fragebogens wird kein Score gebildet, sondern die Items werden als Hinweise auf mögliche konkrete Schwachstellen der GUI-Gestaltung einzeln ausge-wertet. Zudem diente der ausgefüllte Fragebogen dem VL als Leitfaden für das ab-schließende Kurzinterview (s. 7.3.3.5).

66

• Teil 3: Wahrgenommene Nützlichkeit und Akzeptanz: Am Ende des Fragebogens wird mit drei Items das abschließende Urteil der Experten zu (1) den von NARIDAS berechneten Risiko-Werten, (2) dem Risiko-Konzept (Unterscheidung von acht Teil-risiken der nautischen Schiffsführung) und (3) NARIDAS insgesamt erhoben.

7.3.3.4 Lautes Denken

Die Experten wurden instruiert, sowohl während der Risikobeurteilung als auch während der Interaktion mit dem NARIDAS-Prototyp (s. 7.3.4) laut zu denken. Dabei handelt es sich um eine etablierte kognitionspsychologische Methode (Ericsson & Simon, 1980), die häufig im Rahmen von Systemevaluationen eingesetzt wird. Mit diesem Verfahren sollten zusätzliche Hinweise gewonnen werden (1) zu der Vorgehensweise der Experten bei der Risikobewertung, und (2) zu möglichen Schwachstellen des GUI des Prototyps. Die Äußerungen der Experten wurden mit einem digitalen Aufnahmegerät (Sony ICD-BP150) aufgezeichnet und nachträglich mit der Software Transcriber 1.4.2 transkribiert, wobei ein mittleres Niveau an Detailliertheit gewählt wurde, d.h. die Transkription sollte die wesentlichen Inhalte wiedergeben und dabei besonders prägnante oder aufschlussrei-che Formulierungen der Experten im Wortlaut erhalten. Mit den transkribierten Protokol-len wurde eine qualitative Inhaltsanalyse (Mayring, 2000) durchgeführt.

7.3.3.5 Interview

Am Ende der Untersuchung wurde ein fokussiertes Interview (Merton & Kendall, 1946) durchgeführt. Zunächst wurde der Experte um seine persönliche Meinung zu NARIDAS gebeten. Im Anschluss stellte der VL Nachfragen zu den Items, die von dem Experten im USE-Q keine positive Beurteilung erhalten hatten. Abschließend bestand für den Exper-ten die Gelegenheit, einzelne Fragen zum System mit dem anwesenden Systementwickler zu diskutieren. Auch das Interview und die Diskussion wurden aufgezeichnet, transkri-biert und qualitativ analysiert.

7.3.4 Ablauf Für die Untersuchung wurde ein detaillierter Plan erstellt, der den genauen Ablauf und die Instruktionen enthielt. Der Versuch wurde in Einzelsitzungen durchgeführt, bei denen neben einem Experten jeweils ein VL und der Systementwickler anwesend waren. Nach einem Briefing über den Zweck der Untersuchung und dem demografischen Fragebogen erhielt der Experte eine ausführliche Einführung in die Vorgehensweise von NARIDAS zur Bestimmung der situativen Risiken sowie zur Funktionalität des GUI in Form eines Vortrags durch den Systementwickler. Direkt nach der Einführung wurde mit Teil 1 des USE-Q (SUS) der erste Eindruck der Experten von dem System erhoben. Im Anschluss daran wurde die Risikobeurteilung der einzelnen Szenen sequentiell am Demonstrator durchgeführt. Hierbei wurde immer mit Szenario G begonnen, die Reihenfolge der Dar-bietung der weiteren Szenarios wurde zur Vermeidung von Sequenzeffekten zwischen den Experten variiert. Innerhalb eines Szenarios wurden die Szenen nacheinander ent-


sprechend ihrer zeitlichen Reihenfolge abgearbeitet, um die Experten nicht durch Sprün-ge zu verwirren.

Die Risikobewertung begann damit, dass der VL die entsprechende Szene am De-monstrator auswählte und dabei den mittleren Monitor mit dem NARIDAS Prototypen abschaltete, so dass dem Experten lediglich die Screenshots von Radarbild (ARPA) und elektronischer Seekarte (ECDIS) angezeigt wurden. Mit der ersten Szene eines Szenarios erhielt der Experte die Informationen zum jeweiligen Eigenschiff (z.B. Maschinendreh-zahlen, Stoppstrecken, Ruderwinkel, Drehraten) in Form einer Pilot Card (s. Anhang E.1). Die weiteren nautischen Informationen zu jeder Szene (d.h. die von NARIDAS zur Risikobewertung verwendeten „Prozessvariablen“, vgl. 6.2 wurden dem Experten in ei-ner ausgedruckten Tabelle präsentiert (s. Anhang E.2).

Die Experten wurden instruiert, sich zunächst anhand der vorliegenden Materialien ein Bild von der aktuellen Situation zu machen und dabei laut zu denken. Anschließend sollten sie die partiellen Risiken mit dem RISK-Q möglichst sorgfältig und zügig bewer-ten. Als zeitliches Limit für die Risikobewertungen wurde den Experten für die erste Szene jedes Szenarios 10 min. und für jede weitere Szene des Szenarios jeweils 2 min. vorgegeben. Bei Überschreiten des Limits wurden die Experten vom VL jedoch nicht zum Abbruch „gezwungen“, sondern lediglich dazu aufgefordert, ihre Bewertungen nun möglichst rasch zu vollenden.

Sobald die Risikobewertung einer Szene mit dem RISK-Q abgeschlossen war, schalte-te der VL den NARIDAS-Monitor ein, damit der Experte die eigenen Risikourteile mit den NARIDAS-Werten vergleichen und das GUI explorieren konnte. Dabei forderte der VL den Experten ausdrücklich dazu auf, NARIDAS möglichst gründlich zu testen, nach den Ursachen (Details) der Risikobewertungen von NARIDAS zu suchen, und dabei wei-ter laut zu denken. Für diese Interaktionsphase standen dem Experten jeweils 5 min. pro Szene zur Verfügung.

Nachdem der Experte alle Szenen auf diese Weise beurteilt und im NARIDAS explo-riert hatte, bearbeitete er den kompletten USE-Q einschließlich der SUS, so dass für letz-tere die Bewertungen vor und nach der Interaktion mit dem System verglichen werden konnten. Den Abschluss der Untersuchung bildete das fokussierte Interview, das ein-schließlich der Diskussion mit dem Systementwickler zwischen 30 und 60 min. dauerte. Insgesamt dauerte ein Versuchsdurchlauf ca. vier Stunden. Für die Teilnahme erhielten die Experten eine finanzielle Aufwandsentschädigung.

7.3.5 Stichprobe An Studie I nahmen insgesamt n=16 nautische Experten teil (1. Erhebung: n1=9, 2. Erhe-bung: n2=7). Bei den Teilnehmern handelte es sich um aktive Kapitäne und Nautische Offiziere mit langjähriger Berufserfahrung (bis zu 39 Jahren), sowie um Studierende der Nautik am FB Seefahrt der HS Wismar in Warnemünde, die sich zum Zeitpunkt der Un-tersuchung im 2.-4. Studienjahr befanden. Letztere hatten im Rahmen von Ausbildung

68

und Praktika bereits seemännische Erfahrungen (auf Tanker, Schnellboot, Ölbekämp-fungsschiff, Kreuzfahrtschiff u.a.) gewonnen, so dass auch die Studierenden über ausrei-chend nautische Expertise für die Zwecke der Untersuchung verfügten. Alle Teilnehmer waren männliche deutsche Staatsangehörige im Alter zwischen 29 und 60 Jahren.

7.4 Ergebnisse und Interpretation

7.4.1 Reliabilität des Risiko-Konstrukts Für die Risiko-Urteile der Experten ergeben sich über alle Szenen und Teilrisiken signi-fikante Intraclass-Korrelationskoeffizienten von r=.93 (1. Erhebung) und r=.86 (2. Erhe-bung) (p<.01). Diese Werte sprechen für eine hohe Inter-Rater Reliabilität der Experten bei der Risikobeurteilung, und damit für eine hohe Reliabilität des Risiko-Konstrukts. Die Interkorrelationen (Spearman-Rho29; Anhang F) der Risikourteile zwischen jeweils zwei Experten erreichen Werte von:

• r=.38 bis r=.78 (1. Erhebung; MWr(1)=.61) (36 Korrelationen bei n1=9 Experten)

• r=.25 bis r=.65 (2. Erhebung; MWr(2)=.48) (21 Korrelationen bei n2=7 Experten)

Sämtliche Interkorrelationen sind statistisch signifikant (p<.01), d.h. zwischen den Ur-teilen der einzelnen Experten bestehen systematische Zusammenhänge, wobei sich teil-weise deutliche Unterschiede in der Stärke der Zusammenhänge ergeben.

7.4.2 Reliabilität des Risiko-Modells Zwischen den Risikourteilen der einzelnen Experten und den NARIDAS-Werten ergeben sich bivariate Korrelationskoeffizienten (Spearman-Rho; Tabelle 4) von:

• r=.33 bis r=.70 (1. Erhebung; MWr(1)=.59)

• r=.27 bis r=.70 (2. Erhebung; MWr(2)=.50)

Tabelle 4: Korrelationen der einzelnen Experten-Urteile zu NARIDAS (MdExp(i) = Medi-an der Expertenurteile in Erhebung i)

Experten-Nr. 1. Erhebung

01 02 03 04 05 06 07 08 09 MdExp(1)

Spearman-Rho

.61 .56 .63 .61 .62 .70 .60 .66 .33 .74

Experten-Nr. 2. Erhebung

10 11 12 13 14 15 16 MdExp(2)

Spearman-Rho

.27 .63 .50 .56 .70 .55 .31 .77

29 Aufgrund der geringen Stichprobengröße und dem unklaren Niveau der Risiko-Skala wurden Rangkorre-lationen berechnet.


Sämtliche Korrelationen sind statistisch signifikant (p<.01). Somit besteht für die Ur-teile aller Experten ein systematischer Zusammenhang mit NARIDAS. Allerdings zeigen sich wie schon bei den Interkorrelationen teilweise deutliche Unterschiede in der Stärke der Zusammenhänge. Während die Hälfte der Experten Koeffizienten von r≥.60 erreicht, gibt es drei Ausreißer (Experten-Nr. 09, 10, 16), deren Übereinstimmung mit NARIDAS vergleichsweise gering ist (r<.35). Auffällig ist die hohe Korrelation der NARIDAS-Werte mit dem Median der Expertenurteile in beiden Erhebungen. Dies spricht dafür, dass NARIDAS trotz interindividueller Unterschiede den Erwartungswert der Experten-Urteile sehr gut repräsentiert. Gerade in der 2. Erhebung, in der zwei von sieben Experten als Ausreißer relativ geringe Zusammenhänge mit NARIDAS erreichen, und auch insge-samt höhere Urteils-Divergenzen in der Stichprobe bestehen, erweist sich das Risiko-Modell damit als robust.

Bild 22: Mittelwerte (MW) der Korrelationen zwischen Experten und NARIDAS sowie MW und Range der Interkorrelationen der einzelnen Experten über alle Szenen und Parameter in den beiden Erhebungen

Vergleicht man die Korrelationen zwischen Experten-Urteilen und NARIDAS mit den Interkorrelationen der Experten-Urteile in der jeweiligen Erhebung, so zeigt sich, dass die Mittelwerte dieser Korrelationen in beiden Erhebungen fast identisch sind (Bild 22). Auch dies spricht für eine hohe Übereinstimmung der NARIDAS-Werte mit den Exper-ten-Urteilen, und damit für die Reliabilität des Risiko-Modells.

7.4.3 Klassifikationsgüte des Risikomodells Zur Bestimmung von Segreganz und Relevanz (s. 7.2.1) werden zunächst die möglichen Fälle der Beziehungen zwischen NARIDAS-Werten und Expertenurteilen definiert:

• Auslassung: WENN Experte >0,8 UND NARIDAS <0,6

• Fehlalarm: WENN Experte <0,6 UND NARIDAS >0,8

70

• Korrekte Warnung: WENN Experte >0,8 UND NARIDAS >0,8

• Korrekte Normalanzeige: WENN Experte <0,6 UND NARIDAS <0,6

• Indifferenz-Bereich: NARIDAS-Werte zwischen 0,6 und 0,8 werden zur Berechnung der Kennwerte in der vorliegenden Untersuchung nicht berücksichtigt, da hier keine eindeutige Zuordnung zu den beiden Klassen „hohes“ (>0,8) oder „geringes“ (<0,6) Risiko möglich ist.

Tabelle 5: Klassifikationsmatrix

Korrekte Warnung Fehlalarm Gesamt NARIDAS >0,8

196 39 235

Korrekte Warnung Korrekte Normalanzeige Gesamt NARIDAS 0,6 – 0,8

74 235 309

Auslassung Korrekte Normalanzeige Gesamt NARIDAS <0,6

56 1408 1464

Tabelle 5 zeigt die Ergebnisse der Klassifikation, zusammengefasst für beide Erhe-bungsrunden. Die Indikatoren wurden aus diesen Werten wie folgt berechnet:

• Segreganz = Korrekte Normalanzeige / (Korrekte Normalanzeige + Auslassungen)

• Relevanz = Korrekte Warnung / (Korrekte Warnung + Fehlalarme)

Schließt man den Indifferenz-Bereich aus (15,4% der Fälle), so ergibt sich für das NARIDAS Risiko-Modell

• eine Segreganz von 96,2% und

• eine Relevanz von 83,4%.

7.4.4 Validität der Risiko-Berechnungen Im USE-Q beurteilten die Experten sowohl die von NARIDAS berechneten Risiko-Werte als auch die Unterteilung der situativen Risiken der nautischen Schiffsführung in die acht Teilrisiken positiv (nur jeweils eine von 16 Bewertungen ist neutral, keine nega-tiv, siehe Tabelle 6). Dies spricht dafür, dass die Risiko-Berechnungen und die Konzepti-on des Risiko-Modells den Experten insgesamt plausibel erscheinen.

Tabelle 6: Bewertung der Validität des NARIDAS Risiko-Modells hinsichtlich der Unter-teilung in Teilrisiken und der Risikowerte (Antwort-Häufigkeiten)

„Halte ich für…“ „sehr gut“ „gut“ „neutral“ „schlecht“ „sehr schlecht“

Für die Teilrisiken berechnete Werte 0 15 1 0 0

Unterteilung in acht Teilrisiken 4 11 1 0 0


Zur genaueren Untersuchung der Validität der Risiko-Berechnungen wird für jedes Teilrisiko eine Einzelanalyse durchgeführt. Hierfür werden die NARIDAS-Werte mit Median (Md) und Range der Expertenurteile für alle Verkehrsszenen deskriptiv vergli-chen. Dabei wird zwischen drei Risikostufen unterschieden: (1) „geringes Risiko“ (<0,6), (2) „erhöhtes Risiko (0,6-0,8), (3) „hohes Risiko“ (>0,8)30. Zusätzlich zum deskriptiven Vergleich der Risikowerte werden die Ergebnisse der qualitativen Analyse der Protokolle lauten Denkens aus beiden Erhebungen berücksichtigt, indem bei kritischen Abweichun-gen eines partiellen Risikos in einer bestimmten Szene die jeweiligen Transkripte zur Interpretation hinzugezogen werden. Als kritische Abweichung wird ein Fall betrachtet, in dem der Median der Experten-Urteile und/oder NARIDAS einen hohen Risiko-Wert erreichen (>0,8), und gleichzeitig eine deutliche Abweichung (>0,2 Punkte) zwischen dem Median der Experten und NARIDAS besteht.

7.4.4.1 Collision (COL)

Insgesamt befinden sich die NARIDAS-Werte für COL in allen Szenarien außer Open Sea im erhöhten oder hohen Risikobereich (Bild 23). NARIDAS liegt in 6 der 14 Szenen erkennbar über dem Median der Expertenurteile (MdExp), in 7 Szenen sind die Abwei-chungen sehr gering. Kritische Abweichungen finden sich in Szene G5 (Fehlalarm) so-wie in O1 (Auslassung), auch in D2 ist die Abweichung recht hoch.

Bild 23: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für COL

Die qualitative Analyse zeigt, dass die Experten das Risiko in G5 als geringer ein-schätzen, da sie erstens die gefährliche Situation bereits als „erledigt“ betrachten, obwohl sie das entsprechende Fahrzeug noch nicht passiert haben, und zweitens den NARIDAS-Referenzwert („Gute Seemannschaft“) für den Passierabstand (CPA) in diesem Seegebiet für etwas zu hoch halten. Auch den sehr geringen CPA in D2 beurteilen die Experten

30 Zur besseren Übersicht werden lediglich die Vergleiche der 2. Erhebung präsentiert, wobei alle kriti-schen Abweichungen aus beiden Erhebungen in dieser Analyse enthalten sind (da in der 1. Erhebung keine zusätzlichen kritischen Abweichungen auftraten).

72

weniger kritisch, da sie die Situation bereits unter Kontrolle sehen. Allerdings passen sie ihre Urteile in den folgenden Szenen des Szenarios (D3, D4) den NARIDAS-Werten an und bewerten den geringen CPA kritischer. In O1 beurteilen die Experten das Risiko tendenziell höher, da sie die schlechte Sicht in ihre Bewertung mit einbeziehen. In den weiteren Szenen des Szenarios (O2, O3) passen sie ihre Urteile wiederum den NARI-DAS-Werten an, d.h. sie beurteilen COL ohne die schlechte Sicht in ihr Urteil einzube-ziehen.

7.4.4.2 Grounding (GRD)

Die NARIDAS-Werte für GRD erreichen nur im Szenario Dover ein erhöhtes Risiko, in den übrigen Szenarios besteht durchweg ein geringes Risiko (Bild 24). Es finden sich keine kritischen Abweichungen, auffällig sind nur die Abweichungen in D3 sowie in G1.

Bild 24: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für GRD

In D3 halten die Experten das durch die relativ hohe Geschwindigkeit entstehende Ri-siko einer Grundberührung bei dem momentanen Manöver für akzeptabel, passen ihr Urteil aber in der folgenden Szene D4 dem System an. Bei G1 handelt es sich um die erste Szene der Untersuchung, d.h. die Experten sind sich hier möglicherweise über die genaue Konzeption des GRD-Risikos noch unsicher. In den folgenden Szenen nähern sich ihre Urteile jedoch den von NARIDAS berechneten Werten an, und es treten nur noch geringere Abweichungen (<0,2 Punkte) auf.

7.4.4.3 Track Keeping (TRA)

Die NARIDAS-Werte für TRA erreichen nur im Szenario Dover erhöhte Risiko-Werte (Bild 25). Während die Abweichungen zwischen NARIDAS und Experten insgesamt recht gering sind, kommt es in D2 und D3 zu Fehlalarmen. Die qualitative Analyse zeigt, dass die Experten das Teilrisiko TRA im Vergleich zu den partiellen Risiken COL und GRD in diesen Szenen für nachrangig halten. Einige Experten schlagen zudem vor, die partiellen Risiken GRD und TRA zu einem einzigen Wert zusammenzufassen.


Bild 25: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für TRA

7.4.4.4 Traffic (TRF)

Für alle Szenen liegt NARIDAS für TRF im Bereich „geringes Risiko“ (Bild 26).

Bild 26: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für TRF

Es finden sich keine kritischen Abweichungen. Nach der qualitativen Analyse ist der relativ hohe MdExp in G1 darauf zurückzuführen, dass die Experten zu Beginn das beste-hende Kollisionsrisiko in der Beurteilung von TRF mit berücksichtigten. Dieser Einfluss von COL auf die TRF-Urteile findet sich auch für das Szenario Dover und in O1. Einige Experten regten daher an, die beiden Teilrisiken COL und TRF zusammenzufassen.

7.4.4.5 Bridge Manning (MAN)

Die NARIDAS-Werte für das Teilrisiko MAN liegen nur in G1, G2 und G3 in einem höheren Bereich (Bild 27). Die Abweichungen zwischen NARIDAS und Experten sind für MAN insgesamt gering (<0,2) so dass für dieses Teilrisiko wenig Klärungsbedarf zu bestehen scheint. Allerdings weisen einige Experten darauf hin, dass die Leistungsbereit-schaft der Mitglieder der Brückencrew durch die von NARIDAS verwendeten Parameter

74

nur ungenau bewertet werden könne, da sie von zahlreichen weiteren Faktoren neben Tageszeit und Wachdienstdauer beeinflusst würde (z.B. Länge und Qualität der Ruhezeit, individuelle physische und psychische Verfassung).

Bild 27: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für MAN

7.4.4.6 Environment (ENV)

Höhere NARIDAS-Werte für ENV treten in den Szenen G2, O2 und O3 auf (Bild 28). Insgesamt sind für ENV die Abweichungen zwischen NARIDAS und Expertenurteilen recht gering, O2 und O3 sind jedoch als Fehlalarme zu werten. Allerdings zeigen die qualitativen Analysen, dass einige Experten im Nachhinein eher der Meinung sind, das durch Resonanzerscheinungen in diesen Szenen entstehende Risiko selbst unterschätzt zu haben, d.h. die Abweichungen können in diesem Fall eher als eine Unterschätzung des Risikos durch die Nautiker interpretiert werden.

Bild 28: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für ENV


7.4.4.7 Engine / Wheel (ENG)

NARIDAS bewertet ENG lediglich im Szenario Gibraltar als erhöht (Bild 29). Die Ex-pertenurteile liegen dabei deutlich unter den NARIDAS-Werten. Einige Experten geben an, als Nautiker die auf die Maschine bezogenen Risiken schlecht einschätzen zu können. Da sich auch der Algorithmus zur Berechnung von ENG noch in der Entwicklung befin-det, wird nicht weiter auf dieses Teilrisiko eingegangen.

Bild 29: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für ENG

7.4.4.8 Economy (ECO)

Erhöhte NARIDAS-Werte für ECO finden sich in allen Szenarien (Bild 30). Die Un-terschiede zu den Experten sind in den meisten Fällen gering (<0,2 Punkte).

Bild 30: NARIDAS-Werte sowie Median (Md) und Range der Expertenurteile für ECO

Die größte Abweichung zeigt sich in Szene L2. Hier reduziert das Eigenschiff deutlich die Geschwindigkeit, um das Kollisionsrisiko mit zwei anderen Fahrzeugen zu vermin-dern. Das ECO Risiko erhöht sich aufgrund der durch die Fahrtreduzierung verursachten Verspätung in der geplanten Ankunftszeit. Die Experten berücksichtigen dies bei ihren

76

Urteilen zunächst nicht. In den folgenden Szenen L3 und L4 passen sie ihr Urteil den NARIDAS-Werten an. In der qualitativen Analyse zeigt sich, dass die Experten das ECO Risiko in vielen Situationen grundsätzlich als nachrangig einschätzen. Dies gilt insbeson-dere (1) bei einem gleichzeitig bestehenden dringenderem Risiko (z.B. drohende Kollisi-on), (2) wenn im Verlauf der Reise noch genügend Zeit zum Aufholen besteht oder (3) in der Ansteuerung, wenn es „ohnehin zu spät“ ist. Einige Experten sind der Meinung, dass die Bezeichnung „Risiko“ für diese Teilaufgabe nicht angemessen sei, und dass auf die Darstellung von ECO in NARIDAS verzichtet werden sollte.

7.4.5 Validität der Konzeption des Risiko-Modells Zur Bewertung der Validität der Konzeption des Risiko-Modells wurden die Protokolle lauten Denkens, die während der Risikobeurteilung aufgezeichnet wurden (s. 7.3.3.4), sowie die abschließenden Interviews (s. 7.3.3.5) qualitativ analysiert. Fasst man die Äu-ßerungen der Experten zusammen, so können drei Kriterien zur Beurteilung der Bedeut-samkeit der einzelnen Teilrisiken für die Nautiker identifiziert werden:

1. Sicherheitsrelevanz: „Auf welche Art von schädigendem Ereignis bezieht sich das Teilrisiko?“ (kurz: „Risiko wofür?“)

2. Nautische Beeinflussbarkeit: „Inwiefern lässt sich die Höhe des Teilrisikos durch Maßnahmen der nautischen Schiffsführung, d.h. durch Änderung von Kurs und/oder Geschwindigkeit des Eigenschiffs beeinflussen?“

3. Dynamik: „Wie rasch verändert sich die Höhe des Teilrisikos?“

Betrachtet man die partiellen Risiken von NARIDAS hinsichtlich dieser Kriterien, so zeigen sich deutliche Unterschiede (Tabelle 7).

Tabelle 7: Analytische Bewertung der partiellen Risiken von NARIDAS

Teilprozess Sicherheitsrelevanz Nautische Beein-flussbarkeit

Dynamik

COLLISION (COL) direkt (Kollision) ja hoch

GROUNDING (GRD) direkt (Grundberührung, weil zu schnell)

ja hoch

TRACK (TRA) direkt (Grundberührung, weil off-track)

ja hoch

TRAFFIC (TRF) indirekt (Kollision) (eher) nein mittel

MANNING (MAN) indirekt (unspezifisch) nein niedrig

ENVIRONMENT (ENV) direkt (Roll-Resonanz) ja hoch

ENGINE (ENG) indirekt (unspezifisch) nein niedrig

ECONOMY (ECO) keine ja mittel

Lediglich die Teilrisiken COL, GRD, TRA und ENV beziehen sich direkt auf eine spezifische Kategorie von schädigenden Ereignissen, wobei der Unterschied zwischen


GRD und TRA lediglich in den Ursachen des schädigenden Ereignisses liegt (GRD: zu hohe Geschwindigkeit; TRA: Abweichen von der geplanten Bahn), nicht in den Konse-quenzen bzw. der Unfallart (Grundberührung). Das potenziell schädigende Ereignis von TRF (Kollision mit anderen Schiffen) ist bereits in COL enthalten. Die Teilrisiken TRF, MAN und ENG sind nicht direkt mit einem schädigenden Ereignis verknüpft, können (praktisch) nicht durch nautische Eingriffe verändert werden und weisen eine ver-gleichsweise geringe Dynamik auf. Das Teilrisiko ECO ist zwar nautisch beeinflussbar, hat bei einer mittleren Dynamik31 jedoch keine Sicherheitsrelevanz. Zusammenfassend lassen sich die acht NARIDAS Teilprozesse nach ihrer Bedeutsamkeit für die Nautiker unterteilen in:

• Sicherheitsbezogene Faktoren: beziehen sich auf eine definierte Art von schädigen-dem Ereignis, weisen eine hohe Dynamik auf und sind durch Maßnahmen der nauti-schen Schiffsführung direkt beeinflussbar:

- Kollision: COLLISION

- Grundberührung: GROUNDING, TRACK KEEPING

- Roll-Resonanz: ENVIRONMENT

• Ressourcenbezogene Faktoren: beziehen sich auf die Rahmenbedingungen und den Handlungsspielraum, der den Nautikern zur Verfügung steht, können aber nicht durch Maßnahmen der nautischen Schiffsführung beeinflusst werden und weisen eine geringere Dynamik (Veränderungsrate) auf:

- Verkehrsbedingungen: TRAFFIC

- Besetzung der Seewache: BRIDGE MANNING

- Zustand der Antriebs- und Steueranlagen: ENGINE/WHEEL

• Wirtschaftlichkeitsfaktor: bezieht sich auf die Einhaltung der wirtschaftlichen Vor-gaben des Reiseplans, hat jedoch keine Sicherheitsrelevanz:

- ECONOMY.

7.5 Diskussion

7.5.1 Evaluation von NARIDAS Die Ergebnisse von Studie I sprechen insgesamt für eine hohe Güte der Risiko-Berechnungen von NARIDAS. Für die Reliabilitäten des Risiko-Konstrukts und des Ri-

31 „Mittlere Dynamik“ bedeutet, dass für ECO ein kurzfristig (taktisch) nachteiliges Verhalten längerfristig (strategisch) kompensiert werden kann. Beispielsweise kann ein bestimmtes Manöver zur Kollisionsverhü-tung kurzfristig zu einem erhöhten Brennstoffverbrauch oder einer zeitlichen Verzögerung im Reiseplan führen, die jedoch im Lauf der Fahrt durch entsprechendes Handeln wieder ausgeglichen bzw. aufgeholt werden können.

78

siko-Modells werden die angestrebten Zielwerte erreicht: Es besteht eine hohe Intraclass-Korrelation der Experten bei der Beurteilung der situativen Risiken (Reliabilität des Risi-ko-Konstrukts), und die Risiko-Bewertungen von NARIDAS bilden die Experten-Urteile zuverlässig ab (Reliabilität des Risiko-Modells), was sich zeigt an (1) den fast identi-schen Mittelwerten (a) der Interkorrelationen der Experten-Urteile und (b) der Korrelati-onen zwischen den Experten-Urteilen und NARIDAS, sowie (2) der hohen Korrelation des Erwartungswerts (Median) der Experten-Urteile mit NARIDAS. Auch die Indikato-ren für die Klassifikationsgüte des Risiko-Modells erreichen hohe Werte, wobei für die Relevanz der angestrebte Zielwert von 90% etwas unterschritten wird. Dieses Ergebnis weist auf eine leichte Tendenz zu Fehlalarmen.

Bei der Betrachtung der Reliabilität bleibt zu berücksichtigen, dass sowohl die Inter-korrelationen zwischen den einzelnen Experten als auch die bivariaten Korrelationen zwischen NARIDAS und Experten zwar statistisch signifikant sind, jedoch „nur“ in ei-nem mittleren Bereich liegen (für die meisten Experten um r=.6). Auch wenn sich mit dem zusammenfassenden Intraclass-Korrelationskoeffizienten hohe Reliabilitätswerte ergeben, weist die mittelmäßige Varianzaufklärung der bivariaten Korrelationen auf die „prinzipielle“ Unschärfe des Risiko-Konstrukts (s. 4.2) hin: Die Experten sind sich bei der quantitativen Bewertung der situativen Risiken der nautischen Schiffsführung zwar im Großen und Ganzen einig, aber im Einzelfall verbleibt ein gewisser Spielraum bei der Interpretation der technisch-physikalischen Daten, die zur Risikobewertung vorliegen.

Offensichtlich können die situativen Risiken von den Experten mit den von NARI-DAS verwendeten Input-Daten zwar zuverlässig, aber nicht völlig eindeutig bewertet werden. Dabei kann anhand der vorliegenden Ergebnisse nicht geklärt werden, welche zusätzlichen Prozessdaten bzw. Kontextinformationen zu einer weiteren Erhöhung der Übereinstimmung der Risikobewertungen notwendig wären. Nach Woods et al. (2002) hängt die Bedeutsamkeit einzelner Daten bei der Prozessführung entscheidend von den Absichten und Erwartungen der Operateure ab. Dementsprechend werden die Risikobe-wertungen möglicherweise dadurch beeinflusst, wie die Experten die Intentionen der in der Situation handelnden Nautiker einschätzen. In diesem Falle wäre die Unschärfe der Risikobeurteilungen zumindest teilweise darauf zurückzuführen, dass den Experten keine Informationen über die Intentionen der Brückencrew vorgelegt wurden, so dass sie diese nur implizit unterstellen oder erraten können. Allerdings nannten die Experten dies nicht explizit als einen Mangel von NARIDAS, und die Befunde zur Validität sprechen dafür, dass die Experten die Unschärfe für akzeptabel halten bzw. keine exaktere Risiko-Bewertung durch ein SRA-System erwarten.

So zeigt sich für die Validität von NARIDAS, dass die Experten die Risiko-Werte und die Konzeption der partiellen Risiken im USE-Q positiv bewerten. In der Einzelanalyse waren die Abweichungen zwischen NARIDAS und Experten bei allen Teilrisiken insge-samt gleichmäßig gering. Die in bestimmten Szenen für einzelne Teilrisiken vorgefunde-nen deutlicheren Abweichungen zwischen NARIDAS und der „Mehrheitsmeinung“


(Median) der Experten können durch die qualitative Analyse inhaltlich erklärt werden. So sind Fehlalarme von NARIDAS vor allem darauf zurückzuführen, dass die Nautiker von NARIDAS als gefährlich eingestufte Situationen (a) als bereits erledigt oder (b) auf-grund ihrer eigenen Erfahrung als ein Manöver mit einem akzeptablen Risiko betrachten. Die seltenen Auslassungen kommen dadurch zustande, dass die Nautiker Faktoren in ihr Urteil mit einbeziehen, die von NARIDAS bei der Bewertung des entsprechenden Teilri-sikos nicht berücksichtigt werden (z.B. schlechte Sicht bei COLLISION).

Durch die qualitative Analyse zur Validität der Konzeption des Risiko-Modells konn-ten die acht partiellen Risiken nach ihrer Bedeutsamkeit für die Nautiker drei verschiede-nen Klassen zugeordnet werden (sicherheitsbezogene Faktoren, Ressourcenfaktoren, Wirtschaftlichkeitsfaktor). Angesichts dieser Unterschiede in der Bedeutsamkeit stellt sich die Frage, ob die gleichartige Darstellung aller partiellen Risiken in Form des Bal-kendiagramms für ein Unterstützungssystem auf der Schiffsbrücke die optimale Lösung ist. Die stärkere Berücksichtigung der unterschiedlichen Bedeutsamkeit der Teilrisiken bei der Gestaltung der Risiko-Anzeige (z.B. Priorisierung der sicherheitsbezogenen Fak-toren; veränderte Darstellung der Ressourcen- und Wirtschaftlichkeitsfaktoren; eventuell Zusammenfassung einzelner Teilrisiken) könnte die Gebrauchstauglichkeit dieses SRA-Systems für die nautische Schiffsführung weiter erhöhen.

7.5.2 Beurteilung der Evaluationsmethoden Durch die Teilnahme nautischer Experten und die Konstruktion der simulierten Ver-kehrsszenarien durch einen erfahrenen Kapitän und Hochschullehrer für Nautik kann eine hohe ökologische Validität der Untersuchung angenommen werden, auch wenn ei-nige Experten anmerkten, dass sie Situationen mit derartig hohen Risiken in ihrer Praxis bisher („glücklicherweise“) zu vermeiden gewusst hätten. Manchen Experten erschien die Risikobewertung statischer Szenen zu Beginn der Untersuchung etwas künstlich, da sie die situativen Risiken in ihrer beruflichen Praxis stets im dynamischen Prozess beur-teilen. In dem von allen Experten als erstes beurteilten Szenario G finden sich im Ver-gleich zu den nachfolgenden, in einer randomisierten Reihenfolge präsentierten Szena-rien insgesamt keine Besonderheiten der Risikourteile (z.B. höhere Abweichungen oder niedrigere Zusammenhänge), so dass sich die anfängliche Ungewohntheit nicht systema-tisch auf die analysierten Daten auswirkte.

Es bleibt zu berücksichtigen, dass mit dem RISK-Q genau genommen nicht die „na-türliche“ Risikobeurteilung der Experten erhoben wurde, sondern dass die Experten die Konzeption und Skalierung der Risiken nach dem NARIDAS-Modell erst in der darge-stellten Untersuchung erlernten. So zeigt sich in einigen Szenarien, dass die Experten ihr Risikourteil dem NARIDAS-Wert anpassen, nachdem sie die eigene Bewertung mit NARIDAS verglichen haben. Allerdings treten solche Anpassungen nicht konsistent in allen Szenen und allen Teilrisiken auf, sondern entweder zu Beginn der Untersuchung (z.B. GRD und TRF nach G1) oder in einer spezifischen Situation (z.B. COL nach D2,

80

ECO nach L2, vgl. 7.4.4). Um die individuellen kognitiven Repräsentationen der Exper-ten über die situativen Risiken der nautischen Schiffsführung zu erfassen, würde sich beispielsweise der Einsatz der Struktur-Lege-Technik (s. Flick, 1999) anbieten.

Eine strengere Überprüfung der Risikourteile hätte auch erreicht werden können, in-dem man den Experten nicht nach der Beurteilung jeder Szene die entsprechenden NA-RIDAS-Werte präsentiert hätte, sondern beispielsweise erst nachträglich nach Beurtei-lung aller Szenen. Bei der Planung von Studie I fiel die Entscheidung gegen diese Vor-gehensweise, da von einer direkt an die eigene Beurteilung anschließende Rückmeldung der NARIDAS-Werte eine höhere Motivation der Experten zur Interaktion mit dem NA-RIDAS-Prototyp erwartet wurde. Schließlich zeigt das unsystematische und nur verein-zelte Auftreten von Urteils-Anpassungen bei insgesamt hoher Reliabilität und Validität, dass die Konzeption der NARIDAS-Teilrisiken von den Experten insgesamt rasch und problemlos erfasst wurde.

7.5.3 Ausblick Studie I war eine Evaluationsuntersuchung im Rahmen des Entwicklungsprojektes des neuen SRA-Systems NARIDAS. Diese Untersuchung lieferte wertvolle Erkenntnisse zur Bewertung dieses Assistenzsystems und zu den Möglichkeiten seiner weiteren Optimie-rung. Aus wissenschaftlicher Sicht liegt eine interessante Perspektive zur Weiterführung der geleisteten Arbeiten in einer tiefer gehenden, grundlagenorientierten Untersuchung des Aufbaus und des Erhalts der Situational Risk Awareness durch Nautiker. Hier stellt sich beispielsweise die Frage, auf welche Weise die Nautiker die ihnen vorliegenden In-formationen nutzen, um zu ihren Risiko-Urteilen zu kommen, und durch welche Situati-onsmerkmale oder Persönlichkeitseigenschaften die Risiko-Urteile beeinflusst werden. Dies wäre sowohl in statischen (wie in der geschilderten Studie) als auch in dynamischen Kontexten (im Schiffsführungssimulator) zu untersuchen, wobei experimentelle Metho-den (z.B. systematische Maskierung bestimmter Informationen bzw. Informationsquel-len) eingesetzt und das Informationsaufnahmeverhalten (z.B. durch Blickbewegungsmes-sung) überprüft werden könnten. Auf diese Weise ließen sich Erkenntnisse gewinnen, aus denen beispielsweise Ansätze für das Training der Beurteilung der situativen Risiken der Schiffsführung in der nautischen Ausbildung abgeleitet werden könnten.

Kapitel 8: Evaluationsstudie II 81

8 Evaluationsstudie II: Dynamischer Prototyp Studie II wurde im Juni/Juli 2006 im Schiffsführungssimulator des FB Seefahrt der FH Oldenburg/Ostfriesland/Wilhelmshaven (FH OOW) in Elsfleth durchgeführt. Zu diesem Zweck wurde NARIDAS in den Simulator implementiert.

8.1 Ziele und Evaluationskriterien Das Hauptziel von Studie II besteht in der Untersuchung der Effektivität von NARIDAS als SRA-System für die nautische Schiffsführung. Dementsprechend werden die Auswir-kungen von NARIDAS auf die Benutzer anhand der folgenden Kriterien überprüft:

1. Situational Risk Awareness

2. Verhalten bei der Aufgabenerfüllung

3. Mentale Beanspruchung

Als ein zusätzliches Kriterium, das sich eher auf den Einsatzbereich von NARIDAS als Trainingssystem bezieht (s. 6.5), wird die Lernförderlichkeit von NARIDAS im Rahmen einer Simulatorübung explorativ untersucht. Darüber hinaus werden in Studie II wiederum die Akzeptanz und die Gestaltung des GUI von NARIDAS thematisiert.

8.2 Fragestellungen und Operationalisierung der Kriterien Zur Überprüfung der Evaluationskriterien zur Effektivität wird ein experimenteller Ver-gleich zwischen Reiseabschnitten im Simulator durchgeführt, die von Brückenteams mit und ohne Anzeige der situativen Risiken durch NARIDAS absolviert werden. Für die Kriterien ergeben sich die folgenden Fragestellungen:

• Situational Risk Awareness: Führt der Einsatz von NARIDAS zu einer erhöhten Situational Risk Awareness der Brückenteams?

• Verhalten bei der Aufgabenerfüllung: Führt der Einsatz von NARIDAS einem besseren Navigationsverhalten der Brückenteams?

• Mentale Beanspruchung: Hat der Einsatz von NARIDAS Auswirkungen auf die mentale Beanspruchung der Brückenteams?

• Lernförderlichkeit: Hat der Einsatz von NARIDAS einen positiven Einfluss auf den Lernerfolg im Rahmen einer Simulatorübung?

Die Evaluationskriterien Situational Risk Awareness und Navigationsverhalten wer-den über eine Kombination von subjektiven Selbst- und Fremdeinschätzungen per Frage-bogen und objektiven Testverfahren operationalisiert, mentale Beanspruchung und Lern-erfolg ausschließlich per Fragebogen. Für die Kriterien werden keine absoluten Zielwerte aufgestellt, stattdessen werden Hypothesen formuliert und statistisch überprüft, wobei die

82

grundlegende Annahme lautet, dass sich positive Effekte von NARIDAS nachweisen lassen.

8.3 Methoden

8.3.1 Simulator und Prototyp Der Schiffsführungssimulator Elsfleth hat vier komplett ausgestattete Schiffsbrücken, von denen zwei über umfangreiche Sichtsysteme verfügen (simulierte Schiffe „Weser“ und „Ems“). Die beiden übrigen Brücken dienen in erster Linie der Ausbildung für das Fahren bei verminderter Sicht. Alle vier Brücken sind mit je zwei ARPA-Radargeräten, einer elektronischen Seekarte sowie Kommunikationseinrichtungen (Telefon, Sprechan-lage zur UKW-Simulation) ausgerüstet. Die Simulation wird von einem Instructor-Raum überwacht und gesteuert (Bild 31).

Bild 31: Instructor-Raum im Simulationszentrum Elsfleth

Der in Studie II verwendete Prototyp, eine hoch entwickelte, dynamisch lauffähige Version von NARIDAS, wurde auf den beiden Sicht-Brücken des Simulators Elsfleth installiert und an das Simulationsprotokoll angebunden (Bild 32). Aufgrund der techni-schen Gegebenheiten zum Zeitpunkt der Untersuchung war kein automatischer Zugriff auf die ECDIS-Daten möglich. Somit standen dem Prototypen aus dem Simulations-protokoll keine Wassertiefen zur Verfügung, die zur dynamischen Berechnung der Teilri-siken GROUNDING und TRACK notwendig gewesen wären. Daher wurde ein Ver-kehrsszenario realisiert, in dem das Risiko von Grundberührungen keine wesentliche Rolle spielen sollte, d.h. die Werte für GROUNDING und TRACK blieben über die ge-samte Dauer der Simulation auf einem niedrigen Niveau konstant. Dies war auch für zwei weitere Teilrisiken in Studie II der Fall:

• MANNING: Aufgrund der relativ kurzen Dauer und der Charakteristik des Szenarios (komplett im Verkehrstrennungsgebiet ohne Änderung des Navigation Mode) ergab sich keine Veränderung der Risikohöhe im zeitlichen Verlauf der Untersuchung. Die


Brückenbesetzung wurde dabei als normgerecht festgelegt, so dass das Teilrisiko MAN in einem niedrigen Bereich lag.

• ENGINE: Der Simulator lieferte keine Eingangsdaten, die eine automatische Berech-nung dieses Teilrisikos erlaubt hätten. In dem Szenario wurden Haupt- und Ruderma-schinen als voll funktionsfähig simuliert, d.h. das partielle Risiko ENG war gering.

Für die übrigen Teilrisiken COLLISION, TRAFFIC, ENVIRONMENT und ECO-NOMY wurden die Werte von NARIDAS dynamisch berechnet. Wichtige Eingangsda-ten zur Berechnung von ENVIRONMENT (z.B. Wellenrichtung, Wellenhöhe, Rollwin-kel) wurden vor Beginn eines Durchlaufs von den Versuchsleitern manuell in NARIDAS eingegeben. Das GUI des Prototypen entsprach der in der 2. Runde von Studie I verwen-deten Version (Bild 19, S. 63).

Bild 32: NARIDAS im Simulator Elsfleth (Brücke 1)

8.3.2 Simulationsszenario Im Simulator wurde ein Verkehrsszenario von 80 min. Dauer erstellt. Die Aufgabe der

Nautiker bestand in der Passage des Englischen Kanal mit nordöstlichen Kursen in dem Verkehrstrennungsgebiet bei „Bassurelle“ (Bild 33). Eigenschiff war ein voll beladenes Containerschiff (s. Anhang G) auf der Reise von Cádiz nach Rotterdam (Europort). Die simulierten Umgebungsbedingungen beinhalteten:

• Wind: 30 kn von 180°

• See : 4 m Wellenhöhe von 220°

• Strom: Stärke 2,5 kn von 50°

• Sicht: ca. 10 nm (klare Sicht)

84

Bild 33: ECDIS mit Startgebiet

Das Szenario war so konstruiert, dass ein für den Seeraum typisches hohes Ver-kehrsaufkommen simuliert wurde, mit mehreren, sowohl langsameren als auch schnelle-ren Mitläufern (Tanker, Bulk Carrier, Containerschiffe), die überholten oder überholt werden mussten, einigen Fischereifahrzeugen, sowie zwei kreuzenden Fähren. Die Auf-gabe der Nautiker bestand darin, die Wache auf See zu übernehmen und das Schiff weiter gemäß dem vorgegebenen Reiseplan zu führen.

Die im Szenario enthaltenen situativen Risiken lassen sich grob wie folgt beschreiben: Von der ersten Minute an musste dem partiellen Risiko COLLISION eine hohe Auf-merksamkeit gewidmet werden. Die Wache wurde mit der Ausgangsgeschwindigkeit Vmax=19,6 kn übernommen, so dass die ökonomische Geschwindigkeit (Veco=16 kn) überschritten und das partielle Risiko ECONOMY erhöht wurde. Wurde das erkannt und die Begegnungssituationen ließen es zu, musste die Fahrt reduziert werden. Eine Fahrt-verminderung brachte auf den gelaufenen Kursen jedoch Resonanzprobleme mit sich, so dass das partielle Risiko ENVIRONMENT ansteigen musste.

Die Simulation wurde von einem erfahrenen Instructor aus Elsfleth gesteuert, der zu-sätzlich jeweils zwei telefonische Anfragen pro Fahrt an jede Brücke stellte, die Neben-aufgaben für die Crew zur Folge hatten (Neuberechnung der geschätzten Ankunftszeit [ETA] an der Lotsenstation; Durchgabe von Schiffsdaten wie aktueller Kurs, Geschwin-digkeit, Tiefgang usw.). Insgesamt sollte durch Verkehr, Wetter und Nebenaufgaben eine hohe Arbeitsbelastung erreicht werden, jedoch ohne außergewöhnliche Vorkommnisse (wie z.B. Maschinenausfall) oder Notfälle. Damit sollte ein möglichst „alltägliches“ und realitätsnahes Szenario zur Erprobung von NARIDAS hergestellt werden.


8.3.3 Versuchsplan, unabhängige und abhängige Variablen Als unabhängige Variable wurde der Einsatz von NARIDAS innerhalb der Testgruppen variiert, d.h. alle beteiligten Brückenteams fuhren eine Hälfte der Fahrt (40 min.) mit NARIDAS, die andere Hälfte der Fahrt ohne das System. Die Reihenfolge des Einsatzes von NARIDAS wurde zur Vermeidung von Sequenzeffekten variiert (Tabelle 8).

Tabelle 8: Versuchsplan

Teams 1. Reiseabschnitt (8:01-8:40 Sim. Zeit)

2. Reiseabschnitt (8:41-9:20 Sim. Zeit)

Weser 1,3,5 Ems 1,3,5 mit NARIDAS ohne NARIDAS

Weser 2,4,6 Ems 2,4 ohne NARIDAS mit NARIDAS

Entsprechend den Fragestellungen von Studie II wurden für den experimentellen Ver-gleich die untersuchten Evaluationskriterien als abhängige Variablen (AV) erhoben:

• Situational Risk Awareness

• Navigationsverhalten

• Mentale Beanspruchung

• Lernerfolg

Für die Akzeptanz und die Gestaltung des GUI wurde eine deskriptive Auswertung zusammengefasst mit den Ergebnissen von Studie I vorgenommen.

8.3.4 Verfahren und Instrumente

8.3.4.1 Fragebogen zur Selbsteinschätzung (SELF-Q)

Der Fragebogen zur retrospektiven Selbsteinschätzung der Nautiker (SELF-Q) wurde speziell für die vorliegende Untersuchung konstruiert und enthält insgesamt 13 Items, die mit einer 5-stufigen Ratingskala zu beantworten sind (Anhang H). Die Items des SELF-Q lassen sich den folgenden Skalen zuordnen:

• Situational Risk Awareness (SRAW): 5 Items, die sich auf die drei Stufen der Situ-ation Awareness nach Endsley (1995a) sowie speziell auf die SRAW beziehen (z.B. „Es kam vor, dass ich die Risiken der Situation falsch beurteilt habe.“)

• Navigationsverhalten: 4 Items zur Einschätzung der eigenen Leistung, der Zusam-menarbeit im Team und der aufgetretenen Probleme (z.B. „Wie beurteilen Sie Ihre persönliche Leistung?“)

86

• Mentale Beanspruchung: 3 Items zu Anstrengung, Sicherheit und Zeitdruck (z.B. „Wie sehr mussten Sie sich anstrengen, um den vorangehenden Übungsabschnitt zu bewältigen?“)

• Lernerfolg: 1 Item zur subjektiven Einschätzung des eigenen Lernerfolgs („Wie viel haben Sie im vorangegangenen Übungsabschnitt gelernt?)

8.3.4.2 Fragebogen zur Fremdeinschätzung durch Instructor (INS-Q)

Der Fragebogen zur retrospektiven Fremdeinschätzung der Nautiker durch den Instructor (INS-Q) entsprach inhaltlich dem SELF-Q ohne die Skala zur mentalen Beanspruchung. Somit enthielt der INS-Q 10 Items, die im Vergleich zum SELF-Q zur Fremdbeurteilung umformuliert waren (z.B. SRAW: „Es kam vor, dass das Team die Risiken der Situation falsch beurteilte“).

8.3.4.3 Online-Test zur Situational Risk Awareness (SRAW-T)

Zur Erhebung der Situational Risk Awareness (SRAW) wurde für Studie II der Online-Test SRAW-T entwickelt. Bei SRAW-T handelt es sich um ein explizites Erhebungsver-fahren (vgl. Endsley, 1995b), bei dem online während der Aufgabenbearbeitung die Ein-schätzung der situativen Risiken durch die Nautiker erfragt wird. In der vorliegenden Untersuchung wurde aus praktischen Gründen für jedes Team die SRAW des „Kapitäns“ (und damit des verantwortlichen Entscheidungsträgers) erhoben (s. 8.3.6).

Die Erhebung wurde per Telefonanruf auf der Brücke durchgeführt, wobei der VL zu den Messzeitpunkten (jeweils drei pro Fahrtabschnitt) eine offene Frage nach der SRAW stellte, die die Art und das Ausmaß der subjektiven situativen Risiken beinhaltete („Kapi-tän, was sind für Sie im Moment die drei größten Risiken der Situation? Bitte geben Sie für jedes dieser Risiken an, für wie gefährlich Sie es halten auf einer Skala von 0=überhaupt nicht gefährlich bis 100=extrem gefährlich“). Dabei wurden die Nautiker (im Gegensatz zu Studie I) ausdrücklich instruiert, dass sie die situativen Risiken mög-lichst konkret nach ihrer persönlichen Einschätzung benennen sollten, und nicht nach den von NARIDAS verwendeten abstrakteren Kategorien (z.B. „Wir müssen jetzt Target Nummer 5 ausweichen, Risiko 80“ anstelle von „Kollisionsrisiko 80“). Dies sollte ver-hindern, dass die Nautiker in der Bedingung mit NARIDAS die Risikowerte nur ablasen.

Die Antworten wurden vom VL protokolliert und zur Auswertung nachträglich den NARIDAS-Kategorien zugeordnet. Die Häufigkeiten der in jeder Kategorie genannten Risiken wurden als absoluter Indikator für die SRAW gewertet. Darüber hinaus wurde die Übereinstimmung der SRAW mit dem tatsächlich gefahrenen situativen Risiko (NA-RIDAS-Werte, s. 8.3.4.4) als relativierter Indikator bestimmt.

8.3.4.4 NARIDAS-Profile zum Navigationsverhalten

Als numerischer Indikator für das Navigationsverhalten (und zur Bestimmung des ge-wichteten Indikators im SRAW-T) wurden die NARIDAS-Werte für alle Fahrten mit einer Frequenz von ca. 0,2 Hz aufgezeichnet. Die grundlegende Annahme bestand darin,


dass der Mittelwert der Risiken über alle Messzeitpunkte und die Anzahl von Messwer-ten mit einem hohen (>0,8) oder sehr hohen (>0,9) Risiko einen Indikator für die Güte des Navigationsverhaltens darstellen. Hierbei wurde davon ausgegangen, dass höhere Risikomittelwerte sowie eine höhere Anzahl an Messwerten mit hohem und sehr hohem Risiko für ein weniger angemessenes Navigationsverhalten sprechen. Aufgrund der Kon-struktion des Simulationsszenarios und der technischen Gegebenheiten (s. 8.3.1, 8.3.2) sind in dieser Untersuchung lediglich die Teilrisiken COLLISION, ENVIRONMENT und ECONOMY zur Bewertung des Navigationsverhaltens aussagekräftig.

8.3.4.5 Fragebogen zur Gebrauchstauglichkeit und Akzeptanz

Zur Erhebung der Gestaltung des GUI und der Akzeptanz wurde wie in Studie I der USE-Q eingesetzt (s. 7.3.3.3 und Anhang D).

8.3.5 Hypothesen Für die experimentell zu überprüfenden Fragestellungen wurden Hypothesen aufgestellt. Die Effektivität der von NARIDAS gebotenen Assistenz sollte sich in positiven Auswir-kungen auf SRAW und Navigationsverhalten der Nautiker zeigen:

• Hypothese 1: „Die Situational Risk Awareness der Nautiker ist in den Reiseabschnit-ten mit NARIDAS höher als in den Reiseabschnitten ohne NARIDAS“. Dies sollte sowohl in den retrospektiven Fragebögen als auch im SRAW-T gelten:

- Hypothese 1.1: „Die retrospektive Selbstbeurteilung der SRAW ist in den Reise-abschnitten mit NARIDAS höher als in den Reiseabschnitten ohne NARIDAS.“

- Hypothese 1.2: „Die retrospektive Fremdbeurteilung der SRAW ist in den Reise-abschnitten mit NARIDAS höher als in den Reiseabschnitten ohne NARIDAS.“

- Hypothese 1.3: „Im SRAW-T ist die SRAW in Reiseabschnitten mit NARIDAS höher als in Reiseabschnitten ohne NARIDAS.“

Hypothese 1.3.1: „Mit NARIDAS nennen die Nautiker mehr Risiken als ohne NARIDAS.“ (absolute SRAW-T Werte)

Hypothese 1.3.2: „Mit NARIDAS ergibt sich eine höhere Übereinstimmung der von den Nautikern genannten Risiken mit dem aufgezeichneten NARIDAS-Risikoprofil der beurteilten Situation.“ (relativierte SRAW-T Werte).

• Hypothese 2: „Das Navigationsverhalten (NAV) der Crews ist in den Reiseabschnit-ten mit NARIDAS besser als in den Reiseabschnitten ohne NARIDAS“. Dies sollte sich sowohl in den retrospektiven Fragebögen als auch in den gefahrenen NARIDAS-Profilen zeigen:

- Hypothese 2.1: „Die retrospektive Selbstbeurteilung des NAV ist in den Reise-abschnitten mit NARIDAS besser als in den Reiseabschnitten ohne NARIDAS.“

88

- Hypothese 2.2: „Die retrospektive Fremdbeurteilung des NAV ist in den Reise-abschnitten mit NARIDAS besser als in den Reiseabschnitten ohne NARIDAS.“

- Hypothese 2.3.: „Mit NARIDAS bleibt das gefahrene situative Risiko eher in ei-nem niedrigen Bereich als ohne NARIDAS.“:

Hypothese 2.3.1: „In den Reiseabschnitten mit NARIDAS wird insgesamt mit einem niedrigeren Risiko gefahren als in den Reiseabschnitten ohne NARI-DAS.“ (Mittelwerte des gefahrenen Risikos)

Hypothese 2.3.2: „In den Reiseabschnitten mit NARIDAS finden sich weniger Messzeitpunkte mit einem hohen Risiko als in den Reiseabschnitten ohne NA-RIDAS.“ (Überschreitungen der Risiko-Schwellenwerte 80 und 90)

Für die mentale Beanspruchung wird erwartet, dass sich kein Einfluss von NARIDAS zeigt. Es soll jedoch überprüft werden, ob eventuelle positive Effekte von NARIDAS auf SRAW oder NAV mit einer erhöhten mentalen Beanspruchung „erkauft“ werden (s. 4.5.1.2). Daher ist zu untersuchen, ob die Installation eines neuen, bisher unbekannten Systems wie NARIDAS die mentale Beanspruchung erhöht:

• Hypothese 3: „Der Einsatz von NARIDAS hat keine Auswirkungen auf die mentale Beanspruchung.“

Zudem wird angenommen, dass sich allgemein ein positiver Effekt von NARIDAS auf den Lernerfolg in einer Simulatorübung zeigen lässt (Lernförderlichkeit), da NARI-DAS den Teilnehmern einer Simulatorübung durch die Rückmeldung der situativen Risi-ken kontinuierliches Leistungsfeedback bietet:

• Hypothese 4: „Mit NARIDAS wird der Lernerfolg höher beurteilt als ohne NARI-DAS.“

- Hypothese 4.1: „Mit NARIDAS wird der Lernerfolg in der retrospektiven Selbst-beurteilung höher beurteilt als ohne NARIDAS.“

- Hypothese 4.2: „Mit NARIDAS wird der Lernerfolg in der retrospektiven Fremd-beurteilung höher beurteilt als ohne NARIDAS.“

Für die Bewertung der Gestaltung des GUI und der Akzeptanz des Systems werden keine Hypothesen aufgestellt, da hier kein experimenteller Vergleich durchgeführt wird.

8.3.6 Ablauf In den Untersuchungsdurchläufen waren jeweils beide Brücken besetzt, auf denen NA-RIDAS installiert war, so dass immer zwei Teams gleichzeitig fahren konnten (auf den beiden simulierten Schiffen „Weser“ und „Ems“). Bild 34 zeigt eine Übersicht über den Versuchsablauf. Die Nautiker wurden zunächst in die Brückenteams eingeteilt, erhielten eine Einführung in den Zweck der Untersuchung und die Funktionsweise von NARIDAS (den Studierenden der FH OOW war NARIDAS bereits durch eine frühere Übung be-


kannt) durch den Versuchsleiter (VL) und ein kurzes Briefing zum nautischen Szenario (Vorbereitung der Seewache) durch den Instructor (insgesamt ca. 40 min.). Es folgte der 1. Reiseabschnitt (Simulatorzeit 08:01-08:40) mit jeweils drei Online-Abfragen des SRAW-T an zufällig aus festgelegten Zeiträumen ausgewählten Zeitpunkten (Messzeit-punkt t1: 08:11-08:14; Messzeitpunkt t2: 08:22-08:26; Messzeitpunkt t3: 08:34-08:36).

Bild 34: Übersicht über den Ablauf von Studie II

Nach Abschluss des 1. Abschnitts wurde die Simulation für ca. 5 min. eingefroren, während die Studierenden (SELF-Q) und der Instructor (INS-Q) die retrospektiven Fra-gebögen bearbeiteten. Im Anschluss daran wurde der 2. Abschnitt absolviert (Simulator-zeit: 08:41-09:20; Messzeitpunkte für die SRAW-T-Abfragen: t4: 08:52-08:55; t5: 09:03-09:07; t6: 09:15-09:17), nach dem wiederum SELF-Q bzw. INS-Q und daraufhin der USE-Q (in ca. 15 min.) zu bearbeiten waren. Das Ende der Untersuchung bildete eine ca. 30-minütige Gruppendiskussion über NARIDAS, an denen jeweils beide Teams eines Durchlaufes sowie der anwesende Systementwickler teilnahmen. Insgesamt dauerte ein Untersuchungsdurchlauf 180 min., die Teilnahme wurde den Nautikern vergütet. An der Durchführung der Untersuchung waren als Mitarbeiter jeweils zwei VL, der Systement-wickler und der Instructor beteiligt.

8.3.7 Stichprobe An der Untersuchung nahmen insgesamt n=23 männliche Studierende (Alter zwischen 21 und 48 Jahren, MW=28 Jahre) aus Abschlussklassen des Studiengangs Nautik der FH OOW in Elsfleth (8. Semester, nELS=15) und der Staatlichen Seefahrtschule Cuxhaven (4. Semester, nCUX=8) teil. Aus dieser Gruppe wurden insgesamt 11 Brückenteams gebildet, die jeweils aus einem „Kapitän“ (Kommandierender) und einem „Wachoffizier“ (WO) bestanden (eines der Teams hatte zwei WO). Alle Studierenden verfügten durch ihr Stu-dium über umfassende Erfahrung im Simulator und über praktische Erfahrung als Nauti-ker (von einem Praxissemester bis zu langjähriger Fahrpraxis).

90

8.4 Ergebnisse und Interpretation Im Folgenden werden zunächst die in Studie II gewonnenen Ergebnisse zu den Hypothe-sen zum Kriterienbereich Effektivität dargestellt. Im Anschluss daran werden die Ergeb-nisse zur Gestaltung des GUI und zur Akzeptanz zusammen mit den entsprechenden Da-ten aus Studie I präsentiert.

8.4.1 Situational Risk Awareness (Hypothese 1) Die Situational Risk Awareness (SRAW) wurde mit den retrospektiven Fragebögen zur Selbst- und Fremdbeurteilung und mit dem Online-Test SRAW-T erfasst. Es wurde an-genommen, dass die SRAW in den mit NARIDAS gefahrenen Reiseabschnitten höher ist als ohne NARIDAS.

8.4.1.1 Hypothesen 1.1 und 1.2: Selbst- und Fremdbeurteilung

In Tabelle 9 sind die Ergebnisse für die retrospektive Selbst- und Fremdbeurteilung der Situational Risk Awareness dargestellt. Die aus fünf Items bestehende Skala erreichte in der Untersuchung eine zufrieden stellende Reliabilität (Cronbachs α = 0,72 bis 0,89).

Insgesamt beurteilen die Nautiker ihre eigene SRAW während der Fahrt retrospektiv als ziemlich hoch. Auffällig ist, dass die Fremdbeurteilung durch den Instructor zwar immer noch positiv, jedoch im Mittel um ca. 1 Standardabweichung niedriger ausfällt. Nimmt man den Instructor als Maßstab, so scheinen die Nautiker dazu zu tendieren, ihre eigene SRAW zu überschätzen. Zwischen den Reiseabschnitten mit und ohne NARIDAS finden sich weder für die Selbst- noch für die Fremdbeurteilungen Unterschiede. Die Hypothesen 1.1 und 1.2 müssen damit verworfen werden. Der Einsatz von NARIDAS hatte in der vorliegenden Untersuchung keinen Einfluss auf die subjektive Bewertung der Situational Risk Awareness.

Tabelle 9: Mittelwerte (und Standardabweichungen) der SRAW in SELF-Q und INS-Q (Skala von 0=sehr niedrige bis 4=sehr hohe SRAW)

SRAW Selbstbeurteilung der Nautiker (n=23)

Fremdbeurteilung der Teams durch Instructor (n=11)

Mit NARIDAS 3,3 (0,5) 2,7 (0,6)

Ohne NARIDAS 3,2 (0,5) 2,7 (0,7)

8.4.1.2 Hypothese 1.3: Online-Test SRAW-T

Zur Überprüfung von Hypothese 1.3 wurden zunächst absolute SRAW-T Werte gebildet, indem die Antworten der Nautiker („Kapitäne“) den NARIDAS-Kategorien zugeordnet wurden. Bild 35 zeigt die Anzahl der genannten Risiken in den einzelnen Kategorien.


0

10

20

30

40

50

60

70

80

90

COLLISION ENVIRONMENT TRAFFIC Gesamt

Abso

lute

Häu

figke

it

mit NARIDASohne NARIDAS

Bild 35: Ungewichtete SRAW-T Werte (Häufigkeit der genannten Risiken pro Kategorie)

Es ist festzustellen, dass die Nautiker nicht zu jedem Abfragezeitpunkt drei situative Risiken nannten, sondern dass die Anzahl der genannten Risiken von 0 bis 3 variierte, d.h. die Nautiker waren teilweise der Meinung, es gäbe in einer bestimmten Situation keine bzw. weniger als drei situatives Risiken. Insgesamt wurden von den Nautikern le-diglich drei der acht Risikokategorien im vorliegenden Verkehrsszenario mit mehr als einer Nennung als „gefährlich“ erachtet, wobei ca. zwei Drittel der genannten Risiken in die Kategorie COL fallen.

Mit insgesamt 85 einzelnen Risiken wurden in den Fahrtabschnitten mit NARIDAS deutlich mehr Risiken genannt als in den ohne NARIDAS gefahrenen Abschnitten (67 Nennungen). Dieser Unterschied ist statistisch signifikant (Wilcoxon-Test, p<.01). Hier-durch wird Hypothese 1.3.1 bestätigt. Die erhöhte Anzahl genannter Risiken in der Be-dingung mit NARIDAS bezieht sich dabei in erster Linie auf die Kategorie COL. Dies spricht dafür, dass NARIDAS in der vorliegenden Untersuchung eine erhöhte Bewusst-heit des Kollisionsrisikos bewirkte.

Für die Bestimmung der relativierten SRAW-T Werte (Hypothese 1.3.2) wurden die Nennungen der Nautiker (RISKCAPTAIN) mit den NARIDAS-Werten (RISKNARIDAS) der jeweiligen Situation um den Abfragezeitpunkt ti wie folgt verglichen32:

• Wenn RISKNARIDAS≥50 und RISKCAPTAIN>0 dann wird der Fall als “entdecktes Risi-ko“ („HIT“) gewertet.33

32 Im Gegensatz zu Studie I, in der die Expertenurteile als Kriterium für die NARIDAS-Werte verwendet wurden, stellt im SRAWT NARIDAS das Kriterium für die Gewichtung der Urteile der Nautiker dar. 33 Der Verwendung unterschiedlicher Schwellenwerte von NARIDAS-Werten und Nautikerurteilen zur Bestimmung von HITS und MISSES liegt die Annahme zugrunde, dass die Nautiker einer Risikokategorie

92

• Wenn RISKNARIDAS≥50 und RISKCAPTAIN=0 dann wird der Fall als “übersehenes Ri-siko“ („MISS“) gewertet.

• Wenn RISKNARIDAS<50 und RISKCAPTAIN>50 dann wird der Fall als “überschätztes Risiko“ („OVER-EST“) gewertet.

• Wenn RISKNARIDAS<50 und RISKCAPTAIN<50 dann wird der Fall als “niedriges Risi-ko“ („LOW RISK“) gewertet.

Bild 36 zeigt die zusammengefassten gewichteten Werte für die Teilrisiken COL, TRF und ENV34. Über die drei Teilrisiken zusammen zeigt sich, dass die höhere Anzahl an genannten Risiken in den Bedingungen mit NARIDAS (absolute SRAW-T Werte) zu einer höheren Anzahl an HITS (33 vs. 38) aber auch zu einer höheren Anzahl an OVER-EST (10 vs. 14) führen. Die Anzahl an MISSES ist dementsprechend niedriger (36 vs. 27), die Anzahl von LOW RISKS bleibt unverändert (bei 20).

0

5

10

15

20

25

30

35

40

Mit NARIDAS OhneNARIDAS



HITS MISSES OVER-EST

Anza

hl ENVIRONMENTTRAFFICCOLLISION

Bild 36: Summe der gewichteten SRAW-T Werte für COL, TRF und ENV

Die Betrachtung der einzelnen Teilrisiken zeigt, dass die meisten HITS für COL, die meisten MISSES für TRF und fast alle OVER-EST für ENV auftraten. Beim Teilrisiko ENVIRONMENT bezogen sich die relativ hohen RISKCAPTAIN Werte darauf, dass sich die simulierten Umgebungsbedingungen nachteilig auf die Steuerbarkeit des Schiffes mit dem Autopiloten auswirkten. Die Antworten der Nautiker zu dieser Sachlage im SRAW-T wurden in der Analyse dem Teilrisiko ENV zugeordnet. Jedoch wird die Steuerbarkeit des Schiffes aufgrund der Umwelteinflüsse (bisher) in den Algorithmen von NARIDAS

Aufmerksamkeit schenken, wenn sie das betreffende Risiko >0 bewerten, d.h. das Risiko ist damit „ent-deckt“. 34 Für die Gewichtung wurden lediglich die partiellen Risiken COL, TRF und ENV berücksichtigt, da ECO nur in einem einzigen Fall von einem Nautiker als Risiko genannte wurde, und RISKNARIDAS für die Teilri-siken GRD, TRA, MAN und ENG über die Versuchsdauer den Wert von 50 nicht erreichte.


nicht berücksichtigt, so dass der Vergleich mit RISKNARIDAS für ENV in dieser Studie keine sinnvolle Gewichtung dieser Urteile der Nautiker erlaubt.

Des Weiteren werden die MISSES für TRAFFIC als unkritisch interpretiert, da es sich bei diesem partiellen Risiko eher um eine Rahmenbedingung für die Schiffsführung han-delt, die mit keinem konkreten schädigenden Ereignis verbunden ist (vgl. 7.4.5: „Res-sourcenfaktor“). Ein „Übersehen“ – bzw. die ausbleibende Nennung im SRAW-T – die-ses Teilrisikos lässt kaum Schlüsse auf die SRAW der Nautiker zu, da die grundsätzliche Berücksichtigung des Verkehrs von vielen Nautikern als selbstverständlich betrachtet wird. Somit verbleibt in dieser Untersuchung COL als einziges aussagekräftiges Teilrisi-ko im gewichteten SRAW-T.

Aufgrund der genannten Probleme bei der Interpretierbarkeit wurde für die relativier-ten SRAW-T Werte kein Signifikanztest durchgeführt, d.h. Hypothese 1.3.2 wurde nicht inferenzstatistisch überprüft. Die Tendenz für das Teilrisiko COL im relativierten SRAW-T spricht deskriptiv für einen leicht positiven Effekt des Einsatzes von NARI-DAS auf die SRAW.

8.4.1.3 Fazit zu Hypothese 1

Insgesamt kann Hypothese 1 aufgrund der vorliegenden Daten nicht bestätigt werden. In den retrospektiven Urteilen (Hypothesen 1.1 und 1.2) findet sich kein Einfluss des Ein-satzes von NARIDAS auf die SRAW. Dagegen zeigt sich im absoluten SRAW-T die hypothesenkonforme Erhöhung der Anzahl genannter Risiken (Hypothese 1.3.1). Insbe-sondere bewirkte NARIDAS eine erhöhte Wachsamkeit der Nautiker auf das Kollisions-risiko. Die Bestimmung der relativierten SRAW-T Werte (Hypothese 1.3.2) erwies sich in der vorliegenden Untersuchung lediglich für das Teilrisiko COL als zweckmäßig, weshalb auf eine inferenzstatistische Auswertung verzichtet wurde. Deskriptiv zeigt sich in Einklang mit Hypothese 1.3.2 ein leicht höherer gewichteter SRAW-T Wert in der Bedingung mit NARIDAS.

8.4.2 Navigationsverhalten (Hypothese 2) Das Navigationsverhalten wurde mit den retrospektiven Fragebögen zur Selbst- und Fremdbeurteilung und über die Aufzeichnung der NARIDAS-Risikoprofile erfasst. Es wurde angenommen, dass das Navigationsverhalten in den mit NARIDAS gefahrenen Reiseabschnitten besser ist als ohne NARIDAS.

8.4.2.1 Hypothesen 2.1 und 2.2: Selbst- und Fremdbeurteilung

Tabelle 10 zeigt die Ergebnisse für die retrospektive Selbst- und Fremdbeurteilung der Navigationsleistung in den Fragebögen.

Tabelle 10: MW (SD) der Selbst- und Fremdbeurteilung der Navigationsleistung; Skala von 0=sehr schlechte bis 4=sehr gute Leistung)

Navigationsleistung Selbstbeurteilung der Nautiker (SELF-Q)

Fremdbeurteilung durch Instructor (INS-Q)

94

Mit NARIDAS 2,7 (0,6) 2,4 (0,8)

Ohne NARIDAS 2,9 (0,7) 2,5 (1,0)

Alle Beurteilungen der Leistung liegen im positiven Bereich der Skala, wobei die Fremdbeurteilung durch den Instructor etwas weniger günstig ausfällt als die Selbstbeur-teilung. Zwischen den Reiseabschnitten mit und ohne NARIDAS finden sich keine statis-tisch signifikanten Unterschiede. In Tabelle 11 sind als weiterer Indikator für das Verhal-ten die Häufigkeiten für die Selbst- und Fremdbeurteilungen des gefahrenen Risikos dar-gestellt. Zunächst ist festzustellen, dass kein Fall mit einem extrem hohen oder extrem niedrigen Risiko bewertet wurde. Damit lag das gefahrene Risikos für alle Nautiker ins-gesamt in einem akzeptablen Bereich, was dafür spricht, dass die Nautiker keine schwerwiegenden Fehler begingen und auch nicht übervorsichtig fuhren.

Tabelle 11: Häufigkeiten für subjektive Beurteilung des gefahrenen Risikos (5-stufige Skala von „viel zu riskant“ bis „viel zu vorsichtig“)

„Gefahrenes Risiko“ „eher zu riskant“

„angemesse-nes Risiko“

„eher zu vorsichtig“

Mit NARIDAS 3 17 3 SELF-Q (Selbstbeurteilung der Nautiker) Ohne NARIDAS 0 19 4

Mit NARIDAS 2 8 1 INS-Q (Fremdbeurteilung der Teams durch Instructor) Ohne NARIDAS 5 5 1

In den Selbstbeurteilungen zeigt sich ein leichter Trend, die eigene Fahrweise mit NARIDAS nachträglich als etwas riskanter einzustufen als ohne das System. Dieser Un-terschied ist marginal signifikant (Wilcoxon-Test, p<.10). Hingegen findet sich für die Fremdbeurteilungen durch den Instructor eine gegenläufige Tendenz. Dieser beurteilt die Fahrtabschnitte ohne NARIDAS etwas häufiger als „eher zu riskant“ als die Abschnitte ohne NARIDAS (Wilcoxon-Test, p<.10). Diese Ergebnisse bieten erstens einen Hinweis auf ein etwas angemesseneres Risikoverhalten der Nautiker mit NARIDAS, laut den Ur-teilen des Instructors. Zweitens fällt auf, dass kein Mitglied der fünf Teams, die laut In-structor ohne NARIDAS mit erhöhtem Risiko fuhren, sich seiner riskanteren Fahrweise auch bewusst war.

Schließlich wurde in den retrospektiven Fragebögen nach der subjektiven Einschät-zung von Problemen und Fehlern der Teams in den Reiseabschnitten (Trials) gefragt (Bild 37). Über alle Kategorien wurden vom Instructor insgesamt deutlich mehr aufgetre-tene Probleme genannt als von den Nautikern. Während sich die Fremdbeurteilung durch den Instructor in Abschnitten mit und ohne NARIDAS nicht unterscheidet, nennen die Nautiker in den Abschnitten mit NARIDAS tendenziell mehr Probleme als in den Ab-schnitten ohne NARIDAS. Allerdings ist dieser Unterschied statistisch nicht signifikant (Wilcoxon-Test, p=.12).


0,00

0,20

0,40

0,60

0,80

1,00

mit NARIDAS ohne NARIDAS mit NARIDAS ohne NARIDAS

Probanden Instructor

Anza

hl p

ro T

rial

Teamkommmunikationzu spät auf Gefahren reagiertzu geringer CPAzu hohe Geschwindigkeit

Bild 37: Anzahl und Art genannter Probleme pro Trial (MW) in SELF-Q / INS-Q

Ohne NARIDAS nennen die Nautiker ausschließlich einen zu geringen Passierabstand (CPA) und mangelnde Teamkommunikation als Probleme. Mit NARIDAS kommen auch in Einzelfällen eine zu hohe Geschwindigkeit und ein zu spätes Reagieren auf Gefahren hinzu. Aus Sicht des Instructors hingegen besteht der mit Abstand am häufigsten auftre-tende Fehler darin, dass die Nautiker zu spät auf Gefahren reagieren. Zudem fällt auf, dass es mit NARIDAS aus Sicht des Instructors tendenziell seltener zu Problemen durch eine zu hohe Geschwindigkeit kommt als ohne das System. Interessanterweise wider-spricht dies den Selbsteinschätzungen der Nautiker, was dahingehend interpretiert wer-den kann, dass diese sich ohne NARIDAS ihrer zu hohen Geschwindigkeit nicht bewusst sind.

Insgesamt zeigen die Selbst- und Fremdbeurteilungen in der vorliegenden Untersu-chung keinen positiven Effekt von NARIDAS auf das Navigationsverhalten. Die Hypo-thesen 2.1 und 2.2 können damit nicht bestätigt werden. Ein Vergleich der Selbst- und Fremdbeurteilungen des gefahrenen Risikos und der spezifischen Probleme spricht je-doch für ein tendenziell gesteigertes Problembewusstsein bzw. eine etwas adäquatere Selbsteinschätzung der Nautiker in den Fahrtabschnitten mit NARIDAS, da ihre Urteile in diesen Abschnitten eher mit der Meinung des Instructors übereinstimmen.

8.4.2.2 Hypothese 2.3: Gefahrenes Risiko (NARIDAS-Werte)

In Tabelle 12 sind die Mittelwerte und Standardabweichungen für die zur Verhaltens-bewertung relevanten Teilrisiken COLLISION, ENVIRONMENT und ECONOMY dar-gestellt. TRAFFIC wird als Indikator der von der Verkehrssituation ausgehenden Belas-tung für die Teams aufgeführt (Risikoprofile der einzelnen Teams s. Anhang I). Es zei-gen sich nur sehr geringe Unterschiede zwischen den Abschnitten mit und ohne NARI-DAS. Diese sind statistisch nicht signifikant (Wilcoxon Test: p>.58 für alle Einzelver-gleiche). Aufgrund dieser Daten muss Hypothese 2.3.1, wonach der Einsatz von NARI-

96

DAS dazu führen sollte, dass die Nautiker insgesamt mit einem geringeren Risiko fahren, verworfen werden.

Tabelle 12: MW (SD) der gefahrenen Risiken über alle Teams (NARIDAS-Logfiles; Skala von 0=überhaupt kein Risiko bis 100=extrem hohes Risiko)

COLLISION ENVIRONMENT ECONOMY TRAFFIC

Mit NARIDAS 70,0 (7,4) 38,9 (2,1) 51,4 (23,0) 79,7 (15,1)

Ohne NARIDAS 69,4 (5,0) 38,3 (1,2) 54,5 (15,4) 79,8 (9,6)

Zusätzlich zu den Mittelwerten wurde gemäß Hypothese 2.3.2 auch der Anteil hoher (>80) und sehr hoher (>90) Risikowerte als Indikator für das Navigationsverhaltens be-trachtet. Bild 38 zeigt darüber hinaus den Anteil erhöhter Risikowerte (>60) für die Teil-risiken COL und ECO35. Für COL ergibt sich kein nennenswerter Unterschied zwischen den Fahrtabschnitten mit und ohne NARIDAS.

0

10

20

30

40

50

60

70

80

90

>90 >80 >60 >90 >80 >60

COLLISION ECONOMY

Ante

il M

essw

erte

in %

Mit NARIDASOhne NARIDAS

Bild 38: Anteile an Messwerten mit sehr hohem (>90), hohem (>80) und erhöhtem (>60) Risiko für COL und ENV (MW über alle Nautiker)

Bei ECO findet sich sogar ein höherer Anteil an hohen und sehr hohen Risikowerten in den Abschnitten mit NARIDAS. Allerdings wurden diese höheren Anteile durch zwei einzelne Teams verursacht, während die übrigen Teams keine hohen oder sehr hohen Messwerte für ECO erreichten. Für die Kategorie >60 kehrt sich dieser Trend um, d.h. es

35 Für ENV lagen keine Messwerte >80 und weniger als 2% der Messwerte >60, weshalb dieses Teilrisiko für die Auswertung nicht weiter berücksichtigt wurde. TRF eignet sich nicht zur Beurteilung des Navigati-onsverhaltens, da dieses Teilrisiko durch die Nautiker nicht direkt beeinflusst werden kann.


traten mehr erhöhte ECO Risiken ohne NARIDAS auf. Insgesamt bleibt festzustellen, dass Hypothese 2.3.2, nach der NARIDAS zu einem geringeren Anteil an Messwerten mit einem hohen oder sehr hohen Risiko führen sollte, aufgrund der vorliegenden Daten verworfen werden muss.

8.4.2.3 Fazit zu Hypothese 2

Insgesamt kann Hypothese 2 aufgrund der vorliegenden Daten nicht bestätigt werden. Weder in den retrospektiven Urteilen (Hypothesen 2.1 und 2.2) noch in dem mit NARI-DAS gemessenen gefahrenen Risiko (Hypothese 2.3) findet sich ein Einfluss des Einsat-zes von NARIDAS auf das Navigationsverhalten. Allerdings kann die tendenziell bessere Übereinstimmung der Selbsturteile der Nautiker mit der Bewertung durch den Instructor als Indikator dafür interpretiert werden, dass der Einsatz von NARIDAS zu einer adäqua-teren Selbsteinschätzung der eigenen Leistung beiträgt. Dies weist auf das Potenzial der Anzeige von Risikowerten zum Leistungsfeedback im Simulatortraining. Selbst wenn keine Auswirkungen auf das Verhalten nachgewiesen werden konnten, ist davon auszu-gehen, dass eine adäquatere Selbsteinschätzung der eigenen Leistung auch auf der Schiffsbrücke insgesamt zu einem angemesseneren Navigationsverhalten führen kann.

8.4.3 Mentale Beanspruchung (Hypothese 3) Entsprechend Hypothese 3 wurde untersucht, ob der Einsatz von NARIDAS zu einer Veränderung der mentalen Beanspruchung führt. Die mentale Beanspruchung wurde im Fragebogen zur retrospektiven Selbsteinschätzung der Nautiker (SELF-Q) mit drei Items zu Anstrengung, Zeitdruck und Sicherheit erhoben. Da die auf diese Weise konstruierte Skala nur eine sehr geringe Reliabilität (Cronbachs α) erreichte, wurden lediglich die beiden Items zu Anstrengung und Zeitdruck zusammengefasst, während das Item zur Sicherheit offensichtlich einen anderen Aspekt der mentalen Beanspruchung erfasste und daher getrennt ausgewertet wurde.

Tabelle 13: MW (SD) für mentale Beanspruchung und subjektive Sicherheit

Mentale Beanspruchung Subjektive Sicherheit

Mit NARIDAS 1,1 (0,9) 3,0 (0,9)

Ohne NARIDAS 1,2 (1,0) 3,0 (0,8)

Tabelle 13 zeigt die Ergebnisse für die aus den genannten beiden Items bestehende Skala für mentale Beanspruchung (Cronbachs α ≥ 0,80 in beiden Bedingungen) sowie für das einzelne Item „subjektive Sicherheit“ (Skala von 0=sehr niedrig bis 4=sehr hoch). Die mentale Beanspruchung der Nautiker war in der vorliegenden Untersuchung insge-samt mit Mittelwerten von 1,1 bzw. 1,2 eher niedrig, ihre subjektive Sicherheit mit einem Mittelwert von 3,0 eher hoch. Zwischen den Fahrtabschnitten mit und ohne NARIDAS finden sich keine Unterschiede. Dies spricht dafür, dass der Einsatz von NARIDAS kei-

98

nen Einfluss auf die mentale Beanspruchung der Nautiker hatte, d.h. dass mögliche posi-tive Effekte durch NARIDAS nicht mit einer erhöhten Beanspruchung „erkauft“ wurden.

8.4.4 Lernförderlichkeit (Hypothese 4) Der Lernerfolg während der absolvierten Simulatorfahrt wurde nach jedem der beiden Fahrtabschnitte in den retrospektiven Fragebögen SELF-Q und INS-Q mit jeweils einem Item erhoben (Tabelle 14). Es wurde angenommen, dass der Lernerfolg ein den mit NA-RIDAS gefahrenen Abschnitten höher beurteilt wird als ohne NARIDAS. Insgesamt wird der Lernerfolg eher niedrig bis mittelmäßig bewertet, und vom Instructor mit einem Mit-telwert von 2,4 tendenziell etwas höher als von den Nautikern selbst mit Mittelwerten von 2,1 und 1,6. Während sich für die Fremdbeurteilung kein Unterschied findet, beurtei-len die Nautiker ihren eigenen Lernerfolg in den Fahrtabschnitten mit NARIDAS signifi-kant höher als in den Fahrtabschnitten ohne NARIDAS (Wilcoxon-Test, p<.01).

Tabelle 14: MW (SD) der Selbst- und Fremdbeurteilung des Lernerfolgs (Skala von 0=überhaupt nichts bis 4=sehr viel gelernt)

Lernerfolg Selbstbeurteilung der Nautiker (n=23)

Fremdbeurteilung der Teams durch Instructor (n=11)

Mit NARIDAS 2,1 (0,8) 2,4 (0,8)

Ohne NARIDAS 1,6 (0,9) 2,4 (0,8)

Zusammen mit der adäquateren Selbsteinschätzung der eigenen Leistung in den Fahrt-abschnitten mit NARIDAS (s.o., Hypothesen 2.1 und 2.2) spricht dies dafür, dass das kontinuierliche Feedback der situativen Risiken durch ein SRA-System aus Sicht der im Simulator fahrenden Nautiker eine lernförderliche Wirkung haben kann. Es ist klar, dass diese Wirkung dem beobachtenden Instructor nicht ersichtlich ist, da dieser lediglich das Verhalten der Nautiker im vorgegebenen Verkehrsszenario und nicht ihre subjektiv dabei gemachten Erfahrungen bewerten kann.

8.4.5 Ex-Post Analyse der Zusammenhänge zwischen COL und INS-Q Die durch NARIDAS ermöglichte Aufzeichnung der gefahrenen Risikowerte stellt einen neuen, „objektiven“36 Ansatz zur Bestimmung des Navigationsverhaltens dar, der in der vorliegenden Untersuchung erstmals verwendet wurde. In einer Ex Post Analyse zur Be-stimmung der Kriteriumsvalidität dieses Maßes wurde der Zusammenhang zwischen den aufgezeichneten NARIDAS Risikowerten für COLLISION (als dem zentralen Teilrisiko, das im verwendeten Szenario die höchsten Werte erreichte) und den Instructorurteilen als Außenkriterium untersucht. Entsprechend der Annahme, dass höhere gefahrene Risiko-

36 „Objektiv“ wird hier verstanden im Sinne der Testgütekriterien Durchführungs- und Auswertungsobjek-tivität (Bortz & Döring, 2005)


werte für ein weniger angemessenes Navigationsverhalten (s. 8.3.4.4) und auch für eine schlechtere Situational Risk Awareness sprechen sollten, wäre ein negativer Zusammen-hang zwischen dem aufgezeichneten COL Risiko und den Instructorurteilen zu Navigati-onsverhalten (NAV) und Situational Risk Awareness (SRAW) zu erwarten.

Erwartungsgemäß findet sich dieser negative Zusammenhang von COL mit NAV (signifikant) und SRAW (nicht signifikant) in den ohne NARIDAS gefahrenen Abschnit-ten (Tabelle 15), d.h. je höher das gefahrene Kollisionsrisiko der Teams, als desto schlechter beurteilt der Instructor ihr Verhalten und ihre Situational Risk Awareness. Allerdings kehrt sich dieser Zusammenhang in den mit NARIDAS gefahrenen Abschnit-ten um, d.h. je höher hier das Kollisionsrisiko, als desto besser werden SRAW (signifi-kant) und NAV (nicht signifikant) vom Instructor beurteilt.

Tabelle 15: Korrelationen zwischen INS-Q (NAV und SRAW) und dem gefahrenen COL-Risiko (MW, NARIDAS-Logfiles) mit und ohne NARIDAS (*p<.05)

COLLISION (NARIDAS-Profil) Spearman-Rho

Mit NARIDAS Ohne NARIDAS

NAV (INS-Q) .48 -.59*

SRAW (INS-Q) .68* -.45

Dieser Befund zeigt, dass der Zusammenhang zwischen dem gefahrenen COL Risiko und den Instructor-Urteilen nicht allgemein festgelegt, sondern situationsabhängig ist. Das Ergebnis weist auf einen Unterstützungseffekt von NARIDAS hin: Mit dem SRA-System sind sich die Nautiker des aktuellen Kollisionsrisikos in höherem Maße bewusst (erhöhte Werte im SRAWT, vgl. 8.4.1.2) und können daher mit diesem Risiko besser umgehen. Wenn sie etwas näher „an die Grenze“ (im Sinne relativ geringer Passierab-stände) fahren, behalten die Lage mit NARIDAS stets im Griff. Im Gegensatz dazu be-deutet das „unbewusste“ Eingehen (geringere SRAW) eines relativ hohen Kollisionsrisi-kos in den Abschnitten ohne NARIDAS, dass die Nautiker in Situationen geraten kön-nen, die sie nicht mehr beherrschen.

8.4.6 Zusammenfassende deskriptive Auswertung von Studie I und II Im Folgenden wird die deskriptive Auswertung der mit dem Fragebogen USE-Q (s. 7.3.3.3) gewonnenen Ergebnisse zu den Kriterienbereichen Gestaltung des GUI und Ak-zeptanz für Studie I und II zusammenfassend dargestellt.

8.4.6.1 Gestaltung des GUI

Die Untersuchungsteilnehmer beurteilten die Gestaltung des GUI in beiden Studien sehr positiv (Datentabelle der Ergebnisse des USE-Q s. Anhang J). Die überwiegende Mehr-heit der Nautiker hält das System für einfach zu benutzen und gut gestaltet. Gesuchte

100

Informationen werden als schnell auffindbar, die grafische Darstellung des Zustands der Teilrisiken als übersichtlich bewertet. Lediglich die Integration des HMI von NARIDAS in das Gesamtsystem wird als verbesserungsfähig beurteilt. So hält die Mehrheit der Teil-nehmer von Studie II eine stärkere Integration des Outputs dieses SRA-Systems mit den anderen Systemen auf der Brücke für wünschenswert (z.B. Anzeige der situativen Risi-ken auf ARPA oder ECDIS), einige bewerten die Installation eines zusätzlichen Monitors für NARIDAS als ungünstig. Für die einzelnen Evaluationskriterien zur Gestaltung des GUI (s. 4.3.1) ergibt sich das folgende Bild:

• Wahrnehmbarkeit: Durch die zentrale Positionierung des NARIDAS-Monitors auf dem Brückenpult in Studie II und die zusammenfassende Darstellung der Werte aller Teilrisiken im Balkendiagramm des Overview Fensters (s. 6.4.1) können die situati-ven Risikowerte gut wahrgenommen werden.

• Unterscheidbarkeit: Die Kodierung der Risikohöhe durch Länge und Farbe der Bal-ken erweist sich als zweckmäßig zur Erkennung erhöhter Risikowerte.

• Verständlichkeit: Die Ursachen der NARIDAS-Risikowerte ist den Benutzern über das Details Fenster (s. 6.4.2: Details und Causes) verfügbar. Somit ist die Verständ-lichkeit für die Benutzer rasch herstellbar, auf den ersten Blick besteht im Overview Fenster jedoch keine unmittelbare Verbindung der Risikowerte zu dem konkreten schädigenden Ereignis (z.B. „Durch welche/s Radartarget/s wird das hohe Kollisions-risiko verursacht?“), so dass Fehlinterpretationen möglich sind. Die Gestaltung des Details Fensters (tabellarische Darstellung alphanumerischer Daten) wurde als subop-timal zur raschen Erkennung der Ursachen beurteilt, und könnte durch die Verwen-dung von Grafiken verbessert werden.

• Handlungsbezug: NARIDAS gibt allgemein gehaltene Handlungsempfehlungen (Re-commendations, s. 6.4.2), die im Details Fenster in Textform angezeigt werden. Al-lerdings beurteilen die Experten diese Empfehlungen allgemein als wenig nützlich (s. folgender Abschnitt).

8.4.6.2 Akzeptanz

Entsprechend dem Technology Acceptance Model (Davis, 1989; Davis et al., 1989) wer-den als Voraussetzung für die Akzeptanz die wahrgenommene Nützlichkeit und die wahrgenommene Einfachheit der Benutzung betrachtet (s. 4.4). Die geschilderten Ergeb-nisse zur Gestaltung des GUI sprechen dafür, dass die Mensch-Maschine-Schnittstelle von NARIDAS das Kriterium der wahrgenommenen Einfachheit der Benutzung erfüllt. Als Indikator für die wahrgenommene Nützlichkeit wurde im USE-Q die System Usabili-ty Scale (SUS, s. 7.3.3.3) verwendet. Der SUS-Score lag mit Werten von MW=67 (SD=8) in Studie I sowie MW=64 (SD=13) in Studie II im positiven Bereich (Skala von 0=sehr schlecht bis 100=perfekt; Ergebnistabellen für die einzelnen SUS-Items s. An-hang J). Die Bewertungen der einzelnen Items durch die Nautiker sprechen dafür, dass NARIDAS schnell erlernbar und für den Einsatz auf Schiffsbrücken geeignet ist. Die


Nautiker befürchten nicht, dass das SRA-System ihre Arbeit weniger interessant machen würde. Allerdings wird die Kompetenzförderlichkeit des SRA-Systems eher neutral bis skeptisch beurteilt. Auch sind die Nautiker geteilter Meinung darüber, ob NARIDAS die Sicherheit erhöhen und ihre Arbeit erleichtern würde.

In den USE-Q von Studie II wurden Items zur erwarteten Nützlichkeit von NARIDAS aufgenommen. Die Mehrheit der befragten Nautiker ist hier der Meinung, dass NARI-DAS bei der nautischen Schiffsführung zu einem Überblick über die Situation verhelfen und dazu beitragen kann, dass bessere Entscheidungen getroffen werden. Als weniger hilfreich werden die von NARIDAS gebotenen Handlungsempfehlungen (Recommenda-tions, s. 6.4.2) beurteilt, da sie lediglich allgemeine Maßnahmen aber keine konkreten Manöver vorschlagen würden. Dabei wünschen die Nautiker mehrheitlich auch keine konkreteren Empfehlungen durch dieses SRA-System, sondern bevorzugen es, selbst zu entscheiden, welche Handlungen angesichts der momentanen situativen Risiken vorzu-nehmen sind. Bezieht man dieses Ergebnis auf die möglichen Unterstützungsfunktionen von SRA-Systemen (s. 3.2.2), so scheint bei den Nautikern kein Bedarf nach einer „Ent-scheidungsassistenz“ durch NARIDAS zu bestehen, während die „Aufmerksamkeitsas-sistenz“ durch die Anzeige der situativen Risiken begrüßt wird.

Tabelle 16: Gesamtbewertung von NARIDAS (USE-Q)

„NARIDAS halte ich für…“

„sehr gut“ „gut“ „neutral“ „schlecht“ „sehr schlecht“

Studie I 1 13 2 0 0

Studie II 4 15 4 0 0

Gesamt 5 28 6 0 0

Im abschließenden Gesamturteil bewerteten ca. 85% der Nautiker, die an den Studien teilnahmen, NARIDAS als „gut“ oder „sehr gut“ (Tabelle 16). Neben den Fragebögen wurde die Akzeptanz auch in beiden Studien in den jeweils am Ende der Untersuchungen durchgeführten Interviews thematisiert („Was halten Sie von NARIDAS?“). Dabei konn-ten durch eine qualitative Inhaltsanalyse der genannten Anworten zwei potenzielle Hin-dernisse für die Akzeptanz von NARIDAS identifiziert werden:

1. Belehrung: Einige Untersuchungsteilnehmer empfinden die Anzeige bestimmter Teilrisiken eher als Belehrung denn als Unterstützung. Insbesondere betrifft dies das Teilrisiko BRIDGE MANNING (MAN), da dieses Risiko eine geringe Dynamik aufweist (und daher von den Nautikern auch keine kritischen Entwicklungen von MAN durch mangelnde Aufmerksamkeit übersehen werden können), sowie das Teil-risiko ECONOMY (ECO), da es sich nicht auf die Sicherheit bezieht.

2. Kontrolle/ Datenschutz: Einige Experten äußern Bedenken hinsichtlich der Ver-wendbarkeit der von NARIDAS bewerteten Daten. Beispielsweise wird befürchtet, dass die Hafenstaatenkontrollen auf die Risikowerte zugreifen und mögliche Verstö-

102

ße gegen gesetzliche Bestimmungen nachweisen könnten, oder dass der Schiffs-betreiber aufgrund der NARIDAS Daten zu einer unangemessenen Beurteilung der Navigationsleistung der Brückencrew kommen könnte.

Trotz dieser grundsätzlichen Bedenken sprechen die mit dem USE-Q und in den In-terviews gewonnenen Befunde insgesamt für eine hohe wahrgenommene Nützlichkeit und Einfachheit der Benutzung, und damit für eine hohe Akzeptanz dieses SRA-Systems für die Schiffsführung durch die Nautiker.

8.5 Diskussion

8.5.1 Evaluation von NARIDAS Die Ergebnisse von Studie II können die experimentell überprüften Hypothesen zur Ef-fektivität von NARIDAS überwiegend nicht bestätigen. Für die Situational Risk Aware-ness der Brückenteams zeigen sich subjektiv weder in den Selbstbeurteilungen der Nau-tiker noch in den Fremdbeurteilungen durch den Instructor Auswirkungen von NARI-DAS. Dafür findet sich mit dem neu entwickelten Testverfahren SRAW-T ein positiver Effekt, indem die Bewusstheit des Kollisionsrisikos in den mit NARIDAS gefahrenen Abschnitten erhöht ist.

Die Hypothese, dass sich das Navigationsverhalten der Brückenteams durch NARI-DAS verbessert, wird durch die vorliegenden Daten nicht unterstützt. Es finden sich kei-ne statistisch signifikanten Unterschiede zwischen Fahrtabschnitten, die mit und ohne NARIDAS absolviert wurden, weder in den subjektiven Daten zur Selbst- und Fremdbe-urteilung, noch in den während der Fahrt aufgezeichneten NARIDAS-Risikowerten („ge-fahrenes Risiko“). In der Ex-Post Analyse (8.4.5) konnte nachgewiesen werden, dass NARIDAS in der vorliegenden Untersuchung einen besseren Umgang mit hohen Kollisi-onsrisiken bewirkte. Somit hat der Einsatz von NARIDAS die Situational Risk Aware-ness und das Navigationsverhalten der Nautiker einerseits kaum in Richtung der aufge-stellten Hypothesen beeinflusst. Andererseits konnten Hinweise gewonnen werden, dass dieses SRA-System zu einer erhöhten Bewusstheit des Kollisionsrisikos und gleichzeitig zu einem angemesseneren Navigationsverhalten bei einem hohen Kollisionsrisiko beitra-gen kann. Für die insgesamt niedrige mentale Beanspruchung der Crews ergeben sich keine Unterschiede zwischen Fahrtabschnitten mit und ohne NARIDAS. Damit sind die genannten Effekte auf Situational Risk Awareness und Navigationsverhalten nicht mit einer erhöhten mentalen Beanspruchung der Nautiker verbunden.

Interessante Befunde ergeben sich für die Lernförderlichkeit von NARIDAS. Zum ei-nen zeigt sich aus Sicht der teilnehmenden Nautiker allgemein ein positiver Effekt des Einsatzes von NARIDAS auf den eigenen Lernerfolg in der Simulatorfahrt. Zum anderen finden sich in den Daten zur subjektiven Beurteilung des Navigationsverhaltens ein er-höhtes Problembewusstsein und eine adäquatere Selbsteinschätzung der eigenen Leistung mit NARIDAS. Diese Ergebnisse sprechen für einen lernförderlichen Effekt der Anzeige


der situativen Risiken durch NARIDAS. Neben dem Einsatz als SRA-System auf der Schiffsbrücke könnte NARIDAS daher auch im Rahmen von Simulatortrainings verwen-det werden, um den Lernerfolg der Trainierenden zu erhöhen.

In den Fragebogendaten zur Akzeptanz, die für Studie I und II zusammenfassend aus-gewertet wurden, zeigen sich positive Ergebnisse. Aus Sicht fast aller Nautiker, die an den Evaluationsuntersuchungen teilnahmen, erscheint NARIDAS ein gut gelungener Ansatz eines SRA-Systems für die nautische Schiffsführung. Die Mehrheit der Nautiker bewertet die Nützlichkeit des Systems als hoch. Auch die Gestaltung des GUI von NA-RIDAS und die Einfachheit der Benutzung werden von den Untersuchungsteilnehmern beider Studien im Fragebogen positiv bewertet. Gleichzeitig konnten als potenzielle Ak-zeptanzhürden die Themenbereiche Belehrung und Datenschutz identifiziert werden.

8.5.2 Beurteilung der Evaluationsmethoden Obwohl in Studie II einige Hypothesen zur Effektivität von NARIDAS nicht bestätigt werden konnten, kann aus den vorliegenden Befunden selbstverständlich nicht die Schlussfolgerung gezogen werden, dass dieses SRA-System allgemein in diesen Berei-chen keine wirkungsvolle Assistenz bieten würde. Insbesondere besteht die Möglichkeit, dass die eingesetzten Evaluationsmethoden für einen Effektivitätsnachweis nicht optimal geeignet waren. In der Rückschau wird deutlich, dass sowohl das simulierte Verkehrs-szenario als auch die Operationalisierung der abhängigen Variable „Navigationsverhal-ten“ durch die aufgezeichneten NARIDAS-Werte bestimmte Schwächen aufweisen.

8.5.2.1 Verkehrsszenario

Das Verkehrsszenario wurde in Zusammenarbeit mit einem erfahrenen nautischen In-structor konstruiert. Ziel war die Simulation eines realitätsnahen Szenarios mit einer ho-hen Arbeitsbelastung durch eine hohe Verkehrsdichte mit zahlreichen Begegnungs-situationen und relativ unangenehme meteorologisch-hydrologische Bedingungen, jedoch ohne außergewöhnliche Vorkommnisse, Notfälle usw. (vgl. 8.3.2). Die Ergebnisse zei-gen, dass es mit dem Szenario nicht gelungen ist, die teilnehmenden Nautiker vor größere Schwierigkeiten zu stellen. Die mentale Beanspruchung der Nautiker erreichte lediglich einen niedrigen bis mittleren Bereich, und sowohl mit als auch ohne NARIDAS erbrach-ten alle teilnehmenden Teams eine zumindest zufrieden stellende Leistung. Einerseits entspricht dies dem Ziel, NARIDAS unter möglichst alltagsnahen Bedingungen zu tes-ten, um den „normalen“ Umgang mit dem System zu simulieren. Andererseits bieten derartige Bedingungen, die von gut ausgebildeten Nautikern (wie der untersuchten Stich-probe) relativ problemlos gemeistert werden können, nur wenig Gelegenheit für NARI-DAS, die Evaluationskriterien Situational Risk Awareness und Navigationsverhalten positiv zu beeinflussen.

Auch die „Risikostruktur“ des verwendeten Szenarios war eher einseitig auf das Kol-lisionsrisiko fokussiert. Zum einen entspricht dies wiederum dem Ziel, möglichst reali-tätsnahe Bedingungen zu konstruieren. In der vergleichsweise kurzen Dauer der Simula-

104

torfahrt in dieser Untersuchung wäre eine rasche Abfolge unterschiedlichster Risiken nur in einem den Nautikern sehr künstlich anmutenden Szenario möglich gewesen. Zum an-deren erlaubten die technischen Gegebenheiten keine automatische, dynamische Berech-nung von Teilrisiken wie GROUNDING oder ENGINE, so dass auch aus diesem Grunde auf ein breiteres Spektrum an höhere Werte erreichenden Teilrisiken verzichtet werden musste. Diese Restriktionen schränkten die Möglichkeiten von NARIDAS ein, sich als wirkungsvolles Assistenzsystem zu bewähren, da die Funktion der Lenkung der Auf-merksamkeit auf ansonsten übersehene Teilrisiken nicht zum Tragen kommen konnte.

So wurde der Zielkonflikt zwischen ökologischer Validität (Realitätsnähe des simu-lierten Szenarios) auf der einen Seite und der durch das Szenario vorgegebenen Gelegen-heiten zum Nachweis der Effektivität des Systems („inhaltliche Teststärke“, s. 4.5.2) auf der anderen Seite in der vorliegenden Untersuchung zugunsten des ersteren Zieles ent-schieden. Auch wenn damit die Effektivität der von NARIDAS gebotenen Assistenz für die Schiffsführung nicht eindeutig demonstriert werden konnte, spricht die positive Be-wertung der Gebrauchstauglichkeit dafür, dass die Nautiker NARIDAS grundsätzlich für ein gelungenes und potenziell wirkungsvolles System halten.

8.5.2.2 Operationalisierung des Navigationsverhaltens durch NARIDAS-Risikowerte

In Studie II wurde der Versuch unternommen, das Navigationsverhalten durch die in den Simulatorfahrten aufgezeichneten NARIDAS-Risikowerte zu bewerten. Dabei wurde ein sehr einfacher Ansatz verfolgt, indem die Mittelwerte sowie die Anzahl aller Messwerte über bestimmten Schwellen (für „hohes“ und „sehr hohes“ Risiko) als Indikatoren der Leistung eines Teams verwendet wurden. Die Annahme bestand darin, dass ein höheres situatives Risiko insgesamt für eine schlechtere Leistung spricht (s. 8.3.4.4).

Die uneinheitlichen Zusammenhänge der NARIDAS-Risikowerte mit den Instructor-Urteilen zu Leistung und Situational Risk Awareness der Teams (s. 8.4.5) zeigen, dass diese Annahme in der vorliegenden Untersuchung nicht zutrifft. So beurteilte der Instruc-tor beispielsweise auch Teams positiv, die sehr hohe Risiken eingegangen waren, und niedrigere Risikowerte waren nicht immer mit positiveren Instructor-Urteilen verbunden. Kersandt (2006) diskutiert in einem internen Bericht, dass die Verwendung der absoluten NARIDAS-Risikowerte und die Bildung von Mittelwerten in der vorliegenden Evaluati-onsstudie anscheinend kein zweckmäßiges Maß zur Bewertung des Navigationsverhal-tens sind. Stattdessen sollten in Zukunft Differenzwerte zu einem für das jeweilige Simu-lationsszenario spezifisch zu erstellenden normativen Risikoprofil, das die „Gute See-mannschaft“ repräsentiert, gebildet werden (s.a. Kersandt, 2003a). Höhere Abweichun-gen zu diesem Normprofil würden dann für ein weniger angemessenes Verhalten bzw. eine schlechtere Leistung sprechen.

Allerdings impliziert die Verwendung eines spezifischen, normativen Risikoprofils zur Ermittlung der Aussagekraft der NARIDAS-Werte, dass die Bedeutsamkeit dessel-ben NARIDAS-Werts in unterschiedlichen Situationen variieren kann. Hierin zeigt sich


die Unschärfe der von NARIDAS berechneten Risikowerte (s. 7.5.1): Es hängt von der jeweiligen Situation ab (d.h. von zusätzlichen situativen Faktoren, die bei der Risiko-Berechnung von NARIDAS nicht berücksichtigt werden), ob beispielsweise ein Kollisi-onsrisiko von 90 als kritisch oder als unkritisch zu bewerten ist.

In diesem Zusammenhang ist auch zu berücksichtigen, dass auf der einen Seite in Stu-die II nur eine geringe bis mittlere mentale Beanspruchung sowie eine subjektiv zufrie-den stellende Navigationsleistung und hohe Situational Risk Awareness, auf der anderen Seite jedoch eine beträchtliche Anzahl hoher und sehr hoher Risikowerte (v.a. im Teilri-siko COL) erreicht wurden (s. 8.4.2.2). Wenn NARIDAS bereits auf einer Fahrt, die von den Nautikern als nicht sonderlich problematisch empfunden wird, häufig im „roten Be-reich“ liegt, so weist dies auf eine mögliche Schwachstelle der Klassifikationsgüte des Risiko-Modells, nämlich auf eine geringe Relevanz (vgl. 7.5.1). Um langfristig eine wir-kungsvolle Unterstützung zu bieten, müssten die Risiko-Werte eines SRA-Systems klar zwischen Situationen, die als „normal“ gelten können, und Situationen mit einem außer-gewöhnlich hohen Risiko differenzieren, ohne dass für die jeweilige Situation ein (nur für bereits bekannte Situationen, d.h. nachträglich herstellbares) Norm-Profil (wie im vorliegenden Fall die „Gute Seemannschaft“) notwendig ist.

8.5.3 Ausblick Eine interessante Perspektive zur Weiterführung der in Studie II geleisteten Forschungs-arbeit besteht in der Konstruktion von Simulationsszenarien, in denen sich die Effektivi-tät von NARIDAS auf eindeutigere Weise demonstrieren lässt, ohne dass gleichzeitig die Aussagekraft der Ergebnisse durch eine Häufung außergewöhnlicher Ereignisse oder unrealistisch hohe Anforderungen verfälscht würde. Zu diesem Zweck könnten bei-spielsweise mehrstündige Szenarien realisiert werden, in denen das Brückenteam zu-nächst längere Zeit ohne besondere Vorkommnisse navigiert, bevor die Routine durch unerwartet einsetzende, komplexere Risiken unterbrochen wird. Es ist anzunehmen, dass in einem derartigen Szenario durch Monotonie verursachte Vigilanz- und Ermüdungsef-fekte dazu führen, dass die Situational Risk Awareness der Nautiker absinkt. In diesem Fall dürfte die Unterstützungswirkung von NARIDAS deutlicher zu Tage treten.

Aus methodischer Sicht erscheint es vielversprechend, das zur Erhebung der Situatio-nal Risk Awareness in dieser Arbeit entwickelte Verfahren SRAW-T zu überprüfen und weiterzuentwickeln als ein spezifisch auf die Situational Risk Awareness bezogenes In-strument, das allgemein zur Evaluation von Gestaltungs- oder Trainingsmaßnahmen in MMS eingesetzt werden kann. Weiterhin sollte untersucht werden, wie von einem SRA-System berechnete situative Risikowerte für eine objektive Messung des Verhaltens von Operateuren bei der Aufgabenausführung eingesetzt werden können, sowohl im Rahmen von Evaluationsstudien als auch beispielsweise zur Beurteilung der Leistung in Simula-tortrainings.

106

Schließlich sind auch die konkreten Vorteile der Anzeige von durch ein SRA-System berechneten situativen Risiken als unmittelbares Leistungsfeedback für Trainierende im Simulator genauer zu bestimmen. Die mit NARIDAS in Studie II erzielten Ergebnisse sprechen allgemein dafür, dass sich ein solches Feedback positiv auf den Lernerfolg auswirken kann. Allerdings konnte noch nicht überprüft werden, worin genau diese kom-petenzförderliche Wirkung besteht und wie sie zustande kommt.

Kapitel 9: Schlussfolgerungen 107

9 Schlussfolgerungen

9.1 Zusammenfassende Bewertung von NARIDAS Die Ergebnisse der beiden empirischen Evaluationsstudien sprechen insgesamt dafür, dass es mit NARIDAS gelungen ist, ein SRA-System für die nautische Schiffsführung zu erstellen,

• dessen Risikoberechnungen eine hohe Güte aufweisen,

• dessen Benutzungsoberfläche gebrauchstauglich gestaltet ist,

• das bei den Nautikern Akzeptanz findet und

• das eine effektive Unterstützung bei der Schiffsführung leisten kann.

Auch wenn NARIDAS und die in den empirischen Evaluationsstudien erzielten Er-gebnisse in den folgenden Ausführungen kritisch betrachtet werden, steht außer Frage, dass es sich bei der Entwicklung dieses SRA-Systems um eine bedeutsame wissenschaft-liche Leistung handelt. NARIDAS hat das große Verdienst, die situativen Risiken der nautischen Schiffsführung messbar und damit darstellbar und kommunizierbar zu ma-chen. NARIDAS bietet einen innovativen Ansatz, der nautisches Expertenwissen zur Integration und Bewertung von Prozessdaten formalisiert, und damit weit über traditio-nelle Konzepte technischer Unterstützung im Bereich der Schiffsführung hinausgeht. Für diesen Ansatz bestehen neben der Verwendung als SRA-System auf der Schiffsbrücke weitere vielversprechende Anwendungsmöglichkeiten (s. 6.5).

9.1.1 Güte der Risikoberechnungen und Akzeptanz Die Reliabilität der Risikoberechnungen von NARIDAS liegt in demselben Bereich wie die Übereinstimmungen unterschiedlicher nautischer Experten bei der Risikobewertung, d.h. die Reliabilität des Risiko-Modells ist so hoch wie die Reliabilität des Risiko-Konstrukts. Dies spricht dafür, dass kein großer Spielraum zur Verbesserung der Algo-rithmen bestehen dürfte, zumindest bei der gegebenen Menge an Input-Daten. Da die Evaluationsuntersuchungen keine Hinweise dafür liefern, dass die von NARIDAS ver-wendete Menge an Input-Daten unzureichend ist, scheint für die Güte der Risikobere-chungen bei der gegebenen Konzeption des Risiko-Modells die Grenze des Machbaren erreicht. NARIDAS kann damit als ein nahezu perfektes Modell der Risikobeurteilung eines „durchschnittlichen“ nautischen Experten betrachtet werden. Ein Problem besteht darin, dass Experten nicht perfekt sind, d.h. dass sich ihre Risikourteile interindividuell unterscheiden und dabei oft gleichermaßen „richtig“ sind (Christoffersen & Woods, 2003).

So sind aufgrund der prinzipiellen Unschärfe in der Bestimmung der situativen Risi-ken der nautischen Schiffsführung auch der Klassifikationsgüte des Risiko-Modells von NARIDAS Grenzen gesetzt. Auslassungen sind zwar sehr selten, treten jedoch vereinzelt

108

auf. Die wesentliche Ursache für Auslassungen ist, dass manche Experten in einer be-stimmten Situation bei der Risikobeurteilung weitere Kontextfaktoren hinzuziehen, deren Einfluss auf das betreffende Teilrisiko in der vorliegenden Konzeption aber nicht berück-sichtigt wird (z.B. Erwartungen und Absichten der handelnden Personen). Angesichts der Unschärfe und dem Primat einer maximalen Segreganz (d.h. einer minimalen Rate an Auslassungen) bei der Justierung der Algorithmen sind Fehlalarme grundsätzlich nicht zu vermeiden.

Bei der Erörterung der Fehlalarm-Problematik sind Befunde aus der Luftfahrt zu be-rücksichtigen, die dafür sprechen, dass Fehlalarme eines Warnsystems sich weniger ne-gativ auf dessen Akzeptanz auswirken, wenn (1) die Warnung abgestuft und damit für die Operateure vorhersehbar erfolgt, anstelle einer plötzlichen Unterbrechung ihrer Tä-tigkeit durch einen hoch salienten Alarm, und wenn (2) die Benutzer Zugang zu den zugrunde liegenden Rohdaten haben und die Bewertungen des Systems dadurch nach-vollziehen können (Wickens, 2003; Pritchett, 2001). Da NARIDAS (1) eine abgestufte Risikobewertung bietet, und als ein SRA-System die Benutzer primär informieren soll und nicht explizit warnt (d.h. es handelt sich eher um das Risiko überbewertende Fehl-klassifikationen als um Fehlalarme), sowie (2) den Benutzern durch die im Details-Fenster zugängliche Anzeige der Input-Daten und ihrer Bewertungen eine hohe Transpa-renz bietet, erscheint es nicht zwingend, dass die unvermeidbaren Fehlalarme bzw. Fehl-klassifikationen auf längere Sicht zu einer niedrigen Akzeptanz führen müssen.

Allerdings wurde in der Diskussion zu Studie II auch das Argument erörtert, dass NARIDAS-Werte als Maß zur Beurteilung des Navigationsverhaltens nur geeignet sind, wenn sie mit einer für ein spezifische Verkehrsszenario bestimmten Normkurve für die „Gute Seemannschaft“ verglichen werden (s. 8.5.2.2). Dieses Argument impliziert eine grundlegende Schwäche in der Aussagekraft der Risikoberechnungen von NARIDAS. Schließlich ist für neue, unbekannte Situationen noch keine Normkurve verfügbar, so dass die Benutzer demnach nicht sicher sein können, ob ein bestimmter von NARIDAS angezeigter Risikowert in der momentanen Situation „zu hoch“ oder „akzeptabel“ ist bzw. der „Guten Seemannschaft“ entspricht oder nicht.

9.1.2 Gestaltung der Mensch-Maschine-Schnittstelle Die Gestaltung der Mensch-Maschine-Schnittstelle (HMI) bzw. der grafischen Benut-zungsoberfläche (GUI) wurde nicht nach einem „strengen“, quantitativ-experimentellen, sondern nach einem qualitativ-verfizierenden, heuristischen methodischen Ansatz evalu-iert. Dabei fanden sich keine Hinweise auf einen Bedarf zur Optimierung des GUI, bis auf die Problematik der unmittelbaren Zuordnung eines hohen Risikos zum konkreten Ereignis (Kriterium „Verständlichkeit: s. 8.4.6.1) (z.B.: „Auf welches Radarziel bezieht sich jetzt das hohe Kollisionsrisiko?“; „Was ist gerade so kritisch in der Umwelt – ist das noch die Strömung, oder sind wir jetzt schon in einem resonanznahen Bereich?“). Selbst-verständlich bietet NARIDAS die notwendigen Informationen, allerdings nicht auf den


ersten Blick. Daher besteht die Gefahr, dass sich mögliche Fehlurteile der Nautiker im Sinne eines confirmation bias (z.B. Nickerson, 1998, Wason, 1960) verfestigen (etwa wenn der Nautiker aus dem Augenwinkel einen roten Balken sieht und denkt: „Ach – hohes Kollisionsrisiko, damit ist bestimmt Ziel 8 gemeint. Aber das haben wir ja schon im Griff“, während sich tatsächlich inzwischen ein kritisches Risiko mit einem ganz an-deren Radarziel ergeben hat, das vom Nautiker aber übersehen wurde).

Somit besteht aufgrund der vorliegenden Befunde die wesentliche Herausforderung an das Design der GUI darin, wie die Verständlichkeit bzw. Eindeutigkeit der situativen Risikowerte für die Benutzer gewährleistet werden kann. Zudem bleibt grundsätzlich die Frage offen, ob eine separierte Anzeige der situativen Risikowerte als Balkendiagramm auf einem eigenen Monitor die optimale Lösung darstellt, oder ob es bessere Möglichkei-ten gibt, den Output von NARIDAS in die Mensch-Maschine-Schnittstelle eines Integ-rierten Brückensystems einzupassen bzw. die Anzeige der situativen Risiken in die vor-handenen Standard-Geräte (z.B. Radar, elektronische Seekarte, Conning Display) zu in-tegrieren.

9.1.3 Effektivität des Gesamtsystems In Evaluationsstudie II ist es gelungen, erste Hinweise für die Effektivität von NARIDAS zu demonstrieren. Es zeigte sich, dass NARIDAS:

• die Situational Risk Awareness der Nautiker unterstützte, indem es zu einer erhöhten Bewusstheit des Kollisionsrisikos führte;

• aus Sicht des Instructors zu einem besseren Umgang mit hohen Kollisionsrisiken bei-trug;

• aus Sicht der teilnehmenden Nautiker den Lernerfolg bei der Simulatorfahrt erhöhte.

Allerdings konnten die meisten Hypothesen, die zur Effektivität von NARIDAS expe-rimentell überprüft wurden, nicht bestätigt werden. Dies kann einerseits auf die nachträg-lich aufgedeckten methodischen Schwachstellen von Studie II zurückgeführt werden, die einen Nachweis der Effektivität von NARIDAS prinzipiell erschwerten (s. 8.5.2). Ande-rerseits bleibt zu berücksichtigen, dass auch Unsicherheiten bei der Bewertung der Güte der Risikoberechnungen und der Gestaltung der Benutzungsoberfläche von NARIDAS bestehen (s.o.). Aufgrund der vorliegenden Befunde kann daher auch nicht ausgeschlos-sen werden, dass möglicherweise die Güte der Risikoberechnungen nicht ausreichte, um die Nautiker bei der Erfüllung ihrer Aufgaben wirkungsvoll zu unterstützen, oder dass Mängel in der Schnittstellengestaltung die Effektivität des SRA-Systems negativ beein-flussten.

9.2 Relevanz der Befunde für andere Domänen Zur Erörterung der Relevanz der in der vorliegenden Arbeit gewonnenen Befunde für andere Domänen und Anwendungsbereiche von SRA-Systemen werden die Übertragbar-

110

keit (1) der spezifischen Charakteristika der Risikoberechnung und der Risikoübermitt-lung von NARIDAS und (2) der Evaluationsergebnisse diskutiert.

9.2.1 Übertragbarkeit des NARIDAS-Ansatzes Die Besonderheit des SRA-Systems NARIDAS besteht darin, dass es einen umfassenden Überblick über den Zustand des Schiffsführungsprozesses ermöglicht, indem es abbildet, wie ein erfahrener Nautiker Situationen beurteilt, um seine Navigationsentscheidungen zu treffen. Dabei werden sowohl sicherheitsrelevante Faktoren (d.h. „situative Risiken im engeren Sinne“) als auch Ressourcen- und Wirtschaftlichkeitsfaktoren berücksichtigt. NARIDAS bietet somit eher ein umfassendes „Situation Assessment“ als ein pures „Situ-ational Risk Assessment“.

Zur Risikoberechnung wird von NARIDAS Expertenwissen durch Fuzzy Logik auf Grundlage einer aufgabenorientierten Klassifizierung in acht Teilrisiken modelliert. Auf-gabenorientiert bedeutet in diesem Zusammenhang, dass sich die inhaltliche Bedeutsam-keit der Teilrisiken explizit an den Kategorien bzw. Faktoren orientiert, anhand derer ein erfahrener Operateur (hier: Nautiker) die Situation aufgrund der ihm zugänglichen Pro-zessdaten bewertet. Die Vorteile dieses Ansatzes liegen in einer sehr guten Nachvoll-ziehbarkeit der Risikoberechnungen für die Benutzer. Ein möglicher Nachteil besteht darin, dass das dem Risiko-Modell zugrunde liegende Expertenwissen unscharf (fuzzy) ist, was sich auch empirisch in den interindividuellen Unterschieden bzw. den „nur“ mitt-leren Übereinstimmungen der Expertenurteile zeigt (Studie I)37.

Grundsätzlich könnte der NARIDAS-Ansatz einer aufgabenorientierten, wissensba-sierten Risikoberechnung mit Fuzzy Logik auf andere Anwendungsbereiche übertragen werden. Dabei müsste bei der Konzeption eines SRA-Systems im Einzelfall entschieden werden, ob es in der betreffenden Domäne möglicherweise besser geeignete Methoden oder Methodenkombinationen zur Risikoberechnung gibt. Die Verwendung eines NA-RIDAS-artigen Risiko-Modells empfiehlt sich in Anwendungsbereichen, in denen:

• die Risikobeurteilung eine hohe Qualifikation der Operateure (Expertise) erfordert, so dass Expertenwissen zur Bewertung der situativen Risiken in dem betreffenden MMS notwendig und/oder hilfreich ist;

• die Dynamik der Prozessvariablen nicht zu hoch ist, so dass den Operateuren genü-gend Zeit verbleibt, die Anzeigen des SRA-Systems für ihre Entscheidungen zu ver-arbeiten;

• die Komplexität der Wechselbeziehungen zwischen Prozessvariablen in einem Be-reich liegt, der weder zu hoch (da ansonsten die Modellierung der situativen Risiken

37 Zudem erscheint das Risiko-Modell relativ „starr“, da es seine Bewertungen im Laufe der Zeit nicht automatisch anpasst und verfeinert, z.B. aufgrund von Korrekturen bzw. Feedback der Benutzer oder durch maschinelles Lernen.


über Fuzzy Logik extrem aufwendig würde), noch zu niedrig ist (d.h. die Operateure den Prozess selbst so schnell durchschauen können, dass eine wissensbasierte Unter-stützung keinen Vorteil bringen kann).

Dementsprechend erscheint die Überprüfung der Übertragbarkeit auf Anwendungsbe-reiche wie Flugsicherung oder Medizintechnik (z.B. Überwachungsgeräte im Operations-saal oder bei der Anästhesie) vielversprechend, während sich beispielsweise für die Kraftfahrzeugführung aufgrund der zu hohen Geschwindigkeit bzw. Veränderungsrate bei gleichzeitig relativ geringer Bedeutung der Expertise bei der Bewertung der situati-ven Risiken ein derartiger wissensbasierter Ansatz für ein SRA-System weniger eignen dürfte.

9.2.2 Übertragbarkeit der Evaluationsergebnisse Die in Studie I ermittelten Werte für die quantitativen Kriterien der Güte der Risikobe-rechnungen, sowie die Effekte hinsichtlich Situational Risk Awareness, Navigationsver-halten und Lernförderlichkeit in Studie II können mit allgemeinen Befunden zu Assis-tenzsystemen in anderen Domänen verglichen werden. Beispielsweise zeigt ein Über-blick über Studien zu den Effekten von Veränderungen in der Mensch-Maschine-Schnittstelle von Flugzeugcockpits (Vidulich, 2003), dass neu eingeführte, zusätzliche Anzeigen, die zu einer erhöhten Situation Awareness der Piloten führen, teilweise mit einer Erhöhung ihrer mentalen Beanspruchung einhergehen. Im Gegensatz dazu kommt es zu keiner erhöhten und sogar meistens zu einer niedrigeren mentalen Beanspruchung, wenn eine Erhöhung der Situation Awareness durch die Umgestaltung (reformatting) bestehender Anzeigen bewirkt wird. Die Ergebnisse zu NARIDAS, das eine separate Anzeige der situativen Risiken bietet, zeigen eine Erhöhung der Situational Risk Aware-ness (im SRAW-T), ohne dass es gleichzeitig zu Effekten auf die mentale Beanspru-chung kommt. Damit führt die zusätzliche Anzeige, die mit diesem SRA-System in das Mensch-Maschine-System Schiffsbrücke neu implementiert wird, zumindest in der vor-liegenden Untersuchung nicht zu einer Erhöhung der mentalen Beanspruchung, die auf-grund der genannten Ergebnisse von Vidulich (2003) in Erwägung gezogen werden müsste.

Ein weiterer interessanter Aspekt, der in den empirischen Evaluationsstudien nur am Rande thematisiert wurde, sind die aufgrund der qualitativen Analysen identifizierten potenziellen Akzeptanzhürden. Es wurde festgestellt, dass die Akzeptanz von NARIDAS beeinträchtigt werden könnte durch (1) die von einigen Nautikern empfundene Belehrung durch das SRA-System und (2) die durch die Aufzeichnung oder Übertragung der situa-tiven Risiken ermöglichte Überwachung durch Dritte (z.B. Reeder, Behörden). In For-schungsarbeiten zu Assistenzsystemen im Bereich der Kraftfahrzeugführung finden sich ähnliche Befürchtungen der Benutzer bzw. Betroffenen. Beispielsweise erörtert Haller (2001), auf welche Weise eine „bevormundungsfreie Assistenz“ im Kraftfahrzeug er-reicht werden kann. Rötting et al. (2004) untersuchen, wie Berufskraftfahrer die Potenzi-

112

ale eines technischen Systems zur Rückmeldung der eigenen Fahrleistung bewerten. Da-bei beziehen sich die negativen Aspekte der Bewertungen vor allem auf Befürchtungen hinsichtlich des Datenschutzes bzw. Nachteile, die sich dadurch ergeben können, dass die Leistungsdaten für Arbeitgeber oder Behörden zugänglich sind. Dies spricht dafür, dass es sich bei den Themen Belehrung / Bevormundung und Datenschutz / Überwachung um Gesichtspunkte handelt, die generell bei der Entwicklung und Implementierung von As-sistenzsystemen in MMS berücksichtigt werden müssen, um eine hohe Akzeptanz durch die Benutzer erreichen zu können.

9.3 Bewertung des Evaluationskonzepts Mit dem Rahmenkonzept wurde in der vorliegenden Arbeit eine strukturierte Vorge-hensweise vorgeschlagen, die bei der entwicklungsbegleitenden Evaluation von SRA-Systemen Orientierung bietet. Die Praktikabilität und Nützlichkeit des Rahmenkonzepts konnten in den beiden empirischen Studien, die mit dem SRA-System NARIDAS durch-geführt wurden, demonstriert werden. Die Kombination von quantitativen und qualitati-ven Verfahren zur Überprüfung der einzelnen Evaluationskriterien, die im Rahmenkon-zept vier übergeordneten Kriterienbereichen zugeordnet werden, erlaubt eine differen-zierte und aussagekräftige Bewertung, sowie die Identifikation wichtiger Hinweise zur Optimierung des evaluierten SRA-Systems.

Zu berücksichtigen ist, dass die Zielwerte für die quantitativen Evaluationskriterien zwar teilweise mit allgemeinen Richtwerten aus der Literatur begründet, jedoch letztlich willkürlich festgelegt wurden. Zur Zeit ist es unklar, welche spezifischen Zielwerte bei-spielsweise für die Reliabilität des Risiko-Konstrukts oder für die Klassifikationsgüte des Risiko-Modells mindestens erreicht werden müssen, damit ein SRA-System den Benut-zern eine wirkungsvolle Unterstützung bei der Erfüllung ihrer Aufgaben bieten kann, bzw. ab welchen Werten das SRA-System als „nicht geeignet“ bewertet werden müsste. Zum einen sollte in zukünftigen Untersuchungen mit SRA-Systemen in verschiedenen Anwendungsbereichen die systematische Festlegung solcher Zielwerte angestrebt wer-den. Zum anderen bietet die vorliegende Arbeit dadurch erste Anhaltspunktepunkte, dass beispielsweise die positiven Befunde im Kriterienbereich der Akzeptanz im Sinne einer Kriterienkonvergenz für die Zweckmäßigkeit der gesetzten quantitativen Zielwerte für den Kriterienbereich der Güte der Risikoberechnungen sprechen.

Während die Festlegung von Zielwerten für die summative Evaluation eines Systems notwendig ist, erscheint diese Problematik für die Zielstellung einer formativen Evaluati-on weniger relevant. So ist die Hauptfunktion der Evaluation im Systementwicklungs-prozess eine qualitative. Durch empirische Tests von Prototypen entsteht ein Dialog zwi-schen den späteren Nutzern und den Systementwicklern, der von den Evaluatoren mode-riert wird. Neben der strukturierten Auswertung dieses Dialogs besteht die Rolle eines Evaluators darin, als advocatus diaboli auf potenzielle Schwachstellen des neuen Systems hinzuweisen, um gemeinsam mit den Entwicklern Optimierungsansätze zu erarbeiten.


9.4 Ausblick Die vorliegende Arbeit schafft eine Grundlage für zukünftige Forschungsarbeiten zur Bewertung und Gestaltung von Situational Risk Assessment Systemen. Mit der Differen-zierung zwischen generellen und situativen Risiken, der Einführung des theoretischen Konstrukts der Situational Risk Awareness und der begrifflichen Abgrenzung von Situa-tional Risk Assessment Systemen wurde ein neuer Themenbereich der Mensch-Maschine-Systemtechnik definiert, der eine Vielfalt an interessanten Forschungs-perspektiven bietet. Auf den ersten Blick besteht aus ingenieurwissenschaftlicher Sicht die größte Herausforderung darin, immer genauere Modelle des situativen Risikos zu entwickeln, d.h. die Güte der Risikoberechungen von SRA-Systemen zu steigern.

Auch wenn dieses Ziel zweifellos von zentraler Bedeutung ist, muss angenommen werden, dass der Güte von Modellen des situativen Risikos in komplexen, dynamischen MMS prinzipiell Grenzen gesetzt sind. Ein wichtiges Anliegen dieser Arbeit besteht dar-in zu zeigen, dass selbst eine hohe Güte der Risikoberechnung zum Erreichen einer ef-fektiven SRA-Assistenz nicht ausreichend ist. Neben der zuverlässigen Berechnung müs-sen die situativen Risiken auch angemessen übermittelt werden, und die Operateure müs-sen diese Form der technischen Assistenz akzeptieren. Somit bestehen wesentliche Fra-gestellungen für die Forschung und Entwicklung darin, auf welche Weise situative Risi-kowerte den Operateuren am besten zu übermitteln sind, und wie die Akzeptanz eines SRA-Systems gesichert werden kann. Des Weiteren ist zu untersuchen, wie die als gene-relle Risiken des Einsatzes von SRA-Systemen identifizierten potenziellen Probleme des übersteigerten Vertrauens und des Kompetenzverlusts langfristig verhindert werden kön-nen. Schließlich bietet es sich an, die Nützlichkeit des theoretischen Konstrukts Situatio-nal Risk Awareness auch in anderen Anwendungsbereichen zu überprüfen, wobei der Schwerpunkt zunächst auf die Entwicklung und Validierung von Erhebungsmethoden gelegt werden sollte.

114

10 Zusammenfassung Gegenstand der vorliegenden Arbeit ist die Evaluation von Situational Risk Assessment (SRA) Systemen. Zur Untersuchung der Fragestellung, wie SRA-Systeme aus einer be-nutzerorientierten Sicht zu bewerten sind, wird ein Rahmenkonzept zur entwicklungsbe-gleitenden Evaluation erarbeitet und am Beispiel eines SRA-Systems für die nautische Schiffsführung exemplarisch angewendet. Als theoretischer Ausgangspunkt wird die Unterscheidung zwischen generellen und situativen Risiken eingeführt. Während sich generelle Risiken nur relativ langsam verändern und für statische Entscheidungen rele-vant sind, beziehen sich situative Risiken auf dynamische Entscheidungen und sind einer ständigen Veränderung unterworfen. Entsprechend dieser Differenzierung ist auch zwi-schen dem generellen, statischen Risikobewusstsein von Menschen und ihrem Bewusst-sein situativer Risiken, für das in der vorliegenden Arbeit der Begriff Situational Risk Awareness vorgeschlagen wird, zu unterscheiden. Die Situational Risk Awareness ist ein Teilbereich der Situation Awareness und beeinflusst sowohl die Aufmerksamkeitssteue-rung als auch die Bewertung von Handlungsoptionen im dynamischen Entscheidungs-prozess.

SRA-Systeme sind Assistenzsysteme, deren Hauptfunktion in der Unterstützung der Situational Risk Awareness der Operateure in Mensch-Maschine-Systemen (MMS) be-steht, indem sie mögliche Diskrepanzen zwischen dem subjektiven situativen Risiko der Operateure und dem objektiven situativen Risiko verringern. Dabei können SRA-Systeme ihren Benutzern sowohl eine „Aufmerksamkeitsassistenz“ bieten, indem sie die Aufmerksamkeit auf nicht wahrgenommene, mit einem hohen situativen Risiko verbun-dene Informationen lenken, als auch eine „Entscheidungsassistenz“, indem sie eine un-angemessene subjektive Bewertung wahrgenommener Informationen bzw. Handlungsop-tionen korrigieren. Ein SRA-System besteht aus zwei wesentlichen Komponenten: (1) Risikoberechnung (Algorithmen, mit denen die Prozessdaten des MMS, die den Input des SRA-Systems darstellen, in situative Risikowerte umgewandelt werden), (2) Risiko-übermittlung (Mensch-Maschine-Schnittstelle).

Mit dem Rahmenkonzept werden die relevanten Fragestellungen und Kriterien sowie geeignete methodische Ansätze zur formativen Evaluation von SRA-Systemen im Rah-men eines parallel-iterativen Entwicklungsprozesses zusammengefasst. Das Rahmenkon-zept unterscheidet vier übergeordnete Kriterienbereiche, die bei der Evaluation eines SRA-Systems zu überprüfen sind: (1) Güte der Risikoberechnungen, (2) Gestaltung der Benutzungsschnittstelle, (3) Akzeptanz des SRA-Systems, (4) Effektivität der SRA-Assistenz. Den Kriterienbereichen werden jeweils mehrere Evaluationskriterien sowie Vorschläge zu ihrer Operationalisierung zugeordnet.

Die Praktikabilität und Nützlichkeit des Rahmenkonzepts werden mit zwei empiri-schen Evaluationsstudien des Navigational Risk Detection and Assessment Systems (NARIDAS) demonstriert. NARIDAS ist ein neuartiges SRA-System für die nautische

Kapitel 10: Zusammenfassung 115

Schiffsführung, das mittels Fuzzy Logik acht situative Teilrisiken (z.B. Kollision, Grundberührung) berechnet. Die ca. 100 Input-Daten (technisch-physikalische Messwer-te) zur Risikoberechnung stammen von unterschiedlichen Systemen und Sensoren und werden NARIDAS über das Bord-Datennetzwerk zugeführt. Durch die Anzeige der acht Teilrisiken in Form eines Balkendiagramms auf seiner grafischen Benutzungsoberfläche (GUI) ermöglicht NARIDAS dem Brückenteam einen umfassenden Überblick über den Zustand des Schiffsführungsprozesses.

Hauptziel der ersten empirischen Evaluationsstudie, die mit einem statischen NARI-DAS Prototyp im Demonstrator mit einer Stichprobe von n=16 nautischen Experten durchgeführt wurde, war die Untersuchung der Güte der Risikoberechnungen. Zu diesem Zweck wurden die Risikourteile der Experten für 14 Verkehrsszenen mit den NARIDAS-Risikowerten verglichen. Die positiven Befunde zu den Evaluationskriterien Reliabilität des Risiko-Konstrukts (Intraclasskorrelation der Expertenurteile r>.85), Reliabilität des Risiko-Modells (signifikante Korrelationen zwischen Experten und NARIDAS), Klassi-fikationsgüte des Risiko-Modells (Segreganz = 96%, Relevanz = 83%) sowie Inhaltsva-lidität der Risikoberechnungen (qualitative Analyse von Daten aus Interviews und Proto-kollen lauten Denkens) sprechen insgesamt für eine hohe Güte der Risikoberechnungen von NARIDAS. Allerdings weisen die Ergebnisse darauf hin, dass die Bewertung der situativen Risiken der Schiffsführung mit einer prinzipiellen Unschärfe verbunden ist, die das Potenzial für eine weitere Verbesserung der Güte der Risikoberechnungen begrenzt erscheinen lässt.

Die zweite empirische Evaluationsstudie wurde mit einem dynamischen NARIDAS Prototyp im Schiffsführungssimulator Elsfleth durchgeführt. Das Hauptziel bestand in der Untersuchung der Effektivität von NARIDAS, wobei die Kriterien Situational Risk Awareness (SRAW), Navigationsverhalten und mentale Beanspruchung überprüft wur-den. Als weiteres Kriterium wurde die Lernförderlichkeit von NARIDAS betrachtet. An der Studie nahmen 11 Brückenteams, bestehend aus insgesamt n=23 Studierenden der Nautik teil, die jeweils eine 80-minütige Fahrt auf einem Containerschiff durch den eng-lischen Kanal bei hoher Verkehrsbelastung und relativ schweren Wetterbedingungen absolvierten. Als unabhängige Variable wurde der Einsatz von NARIDAS innerhalb der Gruppen variiert. Die abhängigen Variablen wurden mit einer Kombination aus subjekti-ven Selbst- und Fremdbeurteilungen per Fragebogen und objektiven Testverfahren erho-ben. Während sich subjektiv lediglich eine höhere Selbsteinschätzung des Lernerfolgs mit NARIDAS und ansonsten keine weiteren Effekte zeigten, führte der Einsatz von NARIDAS zu einer signifikanten Erhöhung der Situational Risk Awareness im Test, zu einem angemesseneren Navigationsverhalten bei einem hohen Kollisionsrisiko, sowie zu einer tendenziell adäquateren Selbstbeurteilung der eigenen Leistung.

In beiden Evaluationsstudien wurden zudem die Gestaltung des GUI und die Akzep-tanz von NARIDAS mit Befragungsmethoden (Fragebögen, Interviews) untersucht. Die Ergebnisse zeigen, dass die Gestaltung des GUI von den Untersuchungsteilnehmern in

116

beiden Evaluationsstudien insgesamt als gelungen beurteilt wurde, wobei Ansätze zur Optimierung identifiziert werden konnten. Während die Ergebnisse insgesamt für eine hohe Akzeptanz des Systems durch die Nautiker sprechen, konnten als mögliche Akzep-tanzhürden einerseits Bedenken der Benutzer hinsichtlich des Datenschutzes (durch die Möglichkeit der Einsicht der vom System produzierten und aufgezeichneten situativen Risikowerte durch Dritte) und andererseits das Empfinden einer Belehrung anstelle einer Unterstützung durch das SRA-System identifiziert werden.

Zusammengefasst kann mit den empirischen Evaluationsstudien von NARIDAS ge-zeigt werden, dass das Rahmenkonzept eine umfassende Bewertung von SRA-Systemen und das Aufdecken von Optimierungsansätzen während des Systementwicklungs-prozesses ermöglicht. Damit bildet es als integrierendes Technikgestaltungskonzept eine wichtige Grundlage zur Erreichung einer benutzerorientierten Gestaltung, um das Poten-zial von SRA-Systemen zur Verbesserung der Mensch-Maschine-Interaktion voll aus-schöpfen zu können. Mit dem Rahmenkonzept wird zudem die Grundlage für zukünftige Forschungsarbeiten zur Bewertung und Gestaltung von Situational Risk Assessment Sys-temen geschaffen. Die vorliegende Arbeit strukturiert durch die Differenzierung zwi-schen generellen und situativen Risiken, die Einführung des theoretischen Konstrukts der Situational Risk Awareness und die begriffliche Abgrenzung von SRA-Systemen einen neuen Themenbereich der Mensch-Maschine-Systemtechnik, der eine Vielfalt an interes-santen Forschungsperspektiven bietet.

Anhang 117

Anhang

A Verkehrsszenen in Evaluationsstudie I

A.1 Szenario G: Durchquerung Straße von Gibraltar Bild A-1 zeigt den Beginn des Szenarios G. In Szene G1 ist das Eigenschiff zwischen Mitläufern „eingeklemmt”. Es kann den Kurs zu keiner Seite ändern. An Backbord be-findet sich ein schneller Überholer, an Steuerbord ein etwas langsamerer Mitläufer. Die Verfügbarkeit der Maschine / Ruderanlage ist leicht eingeschränkt. Einem von Steuer-bord kommenden Querläufer (Ziel 8) muss demnächst ausgewichen werden. Als Lösung bleibt nur die Fahrtreduzierung. Die Brücke ist nicht regelgerecht besetzt. Das Teilrisiko Environment ist noch im mittleren Bereich.

Bild A-1: Screenshots von ARPA (links) und ECDIS (rechts) von Szene G1

In Szene G2 kommt es durch die Fahrtreduzierung zu Resonanzerscheinungen. Die Begegnungssituation mit Ziel 8 wird zwar gemeistert, doch das Schiff ist in Resonanz-schwingungen mit einem großen Krängungswinkel. Mit der Fahrtreduzierung erhöht sich auch das partielle Risiko Economy, da man verspätet am Wegpunkt 1 ankommen wird. Nachdem die Fahrt wieder erhöht wurde, verschwinden in Szene G3 die Resonanzprob-leme, aber Ziel 7 nähert sich bedrohlich an. In Szene G4 wird der Kurs nach Steuerbord geändert, und der 1.Offizier übernimmt die Wache. Da die Brücke nun mit einem zwei-ten NO bewetzt ist, geht das Teilrisiko Manning zurück. In Szene G5 wird Ziel 2 in ge-ringem Abstand überholt, Ziel 6 wird als das nächste gefährliche Ziel ausgewiesen.

A.2 Szenario L: Ansteuerung von Livorno Bild A-2 zeigt den Beginn des Szenarios L. Die Brücke ist regelgerecht besetzt. Das Teil-risiko Manning ist durch die Ortszeit (2h00) etwas erhöht. In Szene L1 nähert sich das Eigenschiff mit relativ hoher Geschwindigkeit der Hafeneinfahrt. Zunächst nähern sich zwei Fahrzeuge an Steuerbord bedrohlich an (Collision). Die Fahrt muss reduziert wer-den. In Szene L2 verringert sich dadurch zugleich das Teilrisiko Track bei eingeschränk-

118

tem Manövergebiet an Backbord. Das Teilrisiko Econcomy steigt, weil man nun nicht mehr pünktlich den geplanten Wegpunkt erreicht.

Bild A-2: Screenshots von ARPA (links) und ECDIS (rechts) von Szene L1

In Szene L3 weicht Ziel 5 an Backbord nicht aus; es nähert sich bedrohlich an; die Fahrt muss weiter reduziert werden. Als auch das nicht ausreicht, wird in Szene L4 der Kurs nach Steuerbord geändert. Das Teilrisiko Economy bleibt hoch, durch die zuneh-mende Bahnabweichung erhöht sich das Trackrisiko.

In Szene L5 ist das Problem (endlich) gelöst, da Ziel 5 den Kurs nach Backbord geän-dert hat und damit seiner Ausweichpflicht nachkommt. Als das Eigenschiff nun wieder Fahrt aufnimmt und auf die Sollbahn zurückdreht, muss es ein erhöhtes Track Risiko in Kauf nehmen, um das Collision Risiko mit Ziel 6 gering zu halten.

A.3 Szenario D: Auslaufen von Calais in Richtung Dover Bild A-3 zeigt den Beginn des Szenarios D. In Szene D1 läuft das Eigenschiff bei gerin-ger Wassertiefe unter dem Kiel mit zu hoher Geschwindigkeit. Es beabsichtigt, das vo-rausfahrende Fahrzeug zu überholen. Da die Fahrwasserkante an der Steuerbordseite sehr nahe ist, wird dieses Fahrzeug an seiner Backbordseite überholt.

Bild A-3: Screenshots von ARPA (links) und ECDIS (rechts) von Szene D1

Anhang 119

Dadurch gerät das Eigenschiff In Szene D2 mit dem entgegenkommenden Verkehr in Schwierigkeiten. Die Teilrisiken Collision, Track und Grounding sind sehr hoch. Als das Ziel 3 passiert ist, erhöht das Eigenschiff in Szene D3 die Fahrt, um den Überholvorgang gegenüber Ziel 2 noch vor der Begegnung mit Ziel 4 abzuschließen. Obwohl sich die Bahnverhältnisse bessern, verbleibt das Eigenschiff in Szene D4 bezüglich des Teil-risikos Grounding wegen seiner hohen Geschwindigkeit im Flachwasser im gefährlichen Risikobereich. Gleichzeitig reduziert sich durch die hohe Geschwindigkeit das partielle Risiko Economy, da die geplante Ankunftszeit an der Mole in Dover eingehalten werden kann.

A.4 Szenario O: Offene See Bild A-2 zeigt den Beginn des Szenarios O. Das Eigenschiff reagiert bei verminderter Sicht auf die sich annähernden Ziele 2, 3 und 4. In Szene O1 hat Ziel 1 das Eigenschiff relativ dicht überholt. Der Kurs wird nach Steuerbord geändert und gleichzeitig die Ge-schwindigkeit reduziert, da Ziel 1 sehr nahe ist. Das Eigenschiff muss bei schwerem Wetter außerdem auf die Einwirkungen von Wind und Seegang achten. Die mit den Kursänderungen verbundenen Bahnabweichungen (Track) sind ungefährlich, da man über freien Seeraum und große Wassertiefen verfügt.

Bild A-4: Screenshots von ARPA (links) und ECDIS (rechts) von Szene O1

Durch die Fahrtreduzierung vergrößert sich in Szene O2 der Abdriftwinkel, das par-tielle Risiko Environment steigt an. Da die geplante Ankunftszeit bis zum nächsten Weg-punkt nicht eingehalten werden kann, vergrößert sich auch das Teilrisiko Economy. Nach dem sicheren Passieren der Ziele 2 und 3 dreht das Eigenschiff in Szene O3 auf die ge-plante Bahn zurück. Es kommt jetzt in einen resonanznahen Bereich, der Rollwinkel hat sich stark vergrößert. Das Teilrisiko Environment steigt in einen sehr hohen Bereich.

120

B Demografischer Fragebogen Alter: ___________

Art und Ausstellungsdatum des Patentes:

________________________________________________________________

Fahrtzeit und Fahrtgebiet laut Seefahrtsbuch?

Zeit_______________ Gebiet:___________________________________

Zeit_______________ Gebiet:___________________________________

Zeit_______________ Gebiet:___________________________________

Dauer der Dienststellung auf welchem Schiffstyp?

________________________________________________________________

________________________________________________________________

________________________________________________________________

Sonderkenntnisse?

________________________________________________________________________________________________________________________________

In welchem Maße treffen Ihrer Meinung nach die folgenden Aussagen zu?

gar n

icht

eher

nic

ht

teilw

eise

über

wie

gend

völli

g

1. Ich habe Vertrauen in computerbasierte Systeme zur Unterstüt-zung der Schiffsführung.

2. Moderne Computersysteme auf der Schiffsbrücke geben zu häu-fig Alarme.

3. Die Benutzung von nautischen Computersystemen ist oft zu kom-pliziert.

4. Moderne Computersysteme auf der Schiffsbrücke bieten in ge-fährlichen Situationen keine ausreichende Unterstützung.

5. Moderne computerbasierte Unterstützungssysteme machen die Seefahrt sicherer.

Anhang 121

C Fragebogen zur Bewertung der situativen Risiken (RISK-Q)

122

D Fragebogen zu Gebrauchstauglichkeit, Gestaltung und Akzeptanz (USE-Q) [Version von Evaluationsstudie II]

Teil 1: Gebrauchstauglichkeit von NARIDAS (System Usability Scale)


gar n

icht

eher

nic

ht

teilw

eise

über

wie

gend

völli

g

1. Ich finde ein solches Assistenzsystem für die Schiffsführung sinnvoll.

2. NARIDAS bietet eine wirkungsvolle Unterstützung bei der Schiffsführung.

3. NARIDAS kann dazu beitragen, die Kompetenz von Nauti-kern zu erhöhen.

4. Ich könnte mir vorstellen, NARIDAS häufig zu benutzen.

5. NARIDAS würde die Arbeit von Nautikern erleichtern.

6. Durch NARIDAS wäre die Arbeit von Nautikern weniger interessant.

7. Ich denke, dass NARIDAS ein zuverlässiges System ist.

8. NARIDAS würde zur Erhöhung der Sicherheit in der Schiff-fahrt beitragen.

9. Die meisten Nautiker würden den Umgang mit NARIDAS schnell erlernen.

10. NARIDAS ist für den Einsatz auf der Schiffsbrücke ungeeig-net.

Anhang 123

Teil 2: Gestaltung der Benutzungsoberfläche


gar n

icht

eher

nic

ht

teilw

eise

über

wie

gend

völli

g

11. Einige Informationen, die NARIDAS bietet, sind überflüssig.

12. In NARIDAS fehlen wichtige Informationen.

13. Die von NARIDAS verwendeten Begriffe entsprechen dem nautischen Sprachgebrauch.

14. NARIDAS ist intuitiv benutzbar.

15. NARIDAS ist übersichtlich gestaltet.

16. NARIDAS ist umständlich zu benutzen.

17. Es fällt leicht, gesuchte Informationen in NARIDAS zu fin-den.

18. Die Darstellung der Details ist zu kompliziert.

19. .Die Benutzung von NARIDAS ist komfortabel.

20. Insgesamt bin ich zufrieden mit der Benutzung von NARI-DAS.

21. Die Ursachen hoher Risikowerte sind schnell auffindbar.

22. Die Handlungsempfehlungen von NARIDAS sind hilfreich.

23. Es wäre gut, wenn NARIDAS genauere Handlungsempfeh-lungen anzeigen würde.

24. NARIDAS sollte besser mit den anderen Geräten und Sys-temen auf der Brücke (Radar, ECDIS, Conning Display u.a.) integriert werden.

25. Es ist ungünstig, dass für NARIDAS ein zusätzlicher Monitor auf der Brücke installiert werden muss.

124

Teil 3: Nützlichkeit von NARIDAS


gar n

icht

eher

nic

ht

teilw

eise

über

wie

gend

völli

g

26. NARIDAS hilft dabei, Gefahren schnell zu erkennen.

27. Mit NARIDAS fällt es leicht, den Überblick über die Situation zu behalten.

28. NARIDAS kann dazu beitragen, dass auf der Brücke besse-re Entscheidungen getroffen werden.

29. Die Risikobewertungen von NARIDAS sind gut nachvoll-ziehbar.

30. NARIDAS kann sehr nützlich für Ausbildung und Training im Simulator sein.

31. Der Einsatz von NARIDAS im Simulator kann dazu beitra-gen, dass Studierende wichtige nautische Zusammenhänge schneller begreifen.

32. Wie beurteilen Sie insgesamt die von NARIDAS berechneten Risikowerte?

---------------- ---------------- ---------------- ----------------

sehr gut weder gut, schlecht sehr gut noch schlecht schlecht

33. Wie würden Sie vor dem Hintergrund der Erfahrung, die Sie mit NARIDAS gemacht haben, das System insgesamt bewerten:

Das Navigational Risk Detection and Assessment System halte ich für

---------------- ---------------- ---------------- ----------------

sehr gut weder gut, schlecht sehr gut noch schlecht schlecht

Vielen Dank!

Anhang 125

E Informationsmaterial zur Bewertung der Szenen in Evaluationsstudie I

E.1 Pilot Card (Beispiel: Containerschiff Szenario G1)

126

E.2 Informationsblatt mit Prozessvariablen (Beispiel: Szene G1)

Anhang 127

F Interkorrelationen der Expertenurteile Tabelle F-1: Interkorrelationen (Spearman-Rho) in der 1. Runde

(p<.01 für alle Korrelationen)

vp02 vp03 vp04 vp05 vp06 vp07 vp08 vp09

vp01 .57 .54 .55 .58 .61 .53 .60 .44

vp02 .61 .62 .76 .66 .66 .76 .46

vp03 .56 .63 .69 .68 .60 .49

vp04 .67 .71 .65 .65 .41

vp05 .74 .70 .72 .49

vp06 .76 .78 .48

vp07 .73 .38

vp08 .43

Tabelle F-2: Interkorrelationen (Spearman-Rho) in der 2. Runde (p<.01 für alle Korrelationen)

vp11 vp12 vp13 vp14 vp15 vp16

vp10 .25 .49 .53 .26 .38 .49

vp11 .59 .53 .65 .61 .35

vp12 .62 .60 .51 .55

vp13 .56 .54 .52

vp14 .59 .41

vp15 .37

128

G Informationen für die Brückenbesatzung in Evalua-tionsstudie II

Anhang 129

130

H Fragebogen zur retrospektiven Selbstbeurteilung (SELF-Q)

Fragebogen zum 1. Übungsabschnitt Persönlicher Code:______________

Beanspruchung

B1: Wie sehr mussten Sie sich anstrengen, um den vorangegangenen Übungsabschnitt zu be-wältigen?

überhaupt nicht ein wenig mittelmäßig ziemlich sehr

B2: Wie stark empfanden Sie den Zeitdruck im vorangegangenen Übungsabschnitt?


B3: Wie sicher fühlten Sie sich im vorangegangenen Übungsabschnitt?


Situationsbewusstsein

S1: Wie häufig treffen Ihrer Meinung nach die

folgenden Aussagen im vorangegangenen Übungsabschnitt zu?

gar n

icht

selte

n

man

chm

al

mei

sten

s

stän

dig

„Ich war völlig im Bilde über die momentane Situation.“

„Ich habe wichtige Informationen übersehen.“

„Ich hatte Probleme dabei, wichtige Informationen sofort richtig einzuordnen.“

„Es fiel mir schwer, die weitere Entwicklung der Situation richtig vorherzusehen.“

„Es kam vor, dass ich die Risiken der Situation falsch beurteilt habe.“

Beurteilung der Leistung

P1: Wie beurteilen Sie im vorangegangenen Übungsabschnitt...

(a) ...Ihre persönliche Leistung

sehr schlecht eher schlecht mittelmäßig eher gut sehr gut

Anhang 131

(b) ...die Leistung des anderen Mitglieds Ihrer Crew

sehr schlecht eher schlecht mittelmäßig eher gut sehr gut P2. Wie beurteilen Sie Ihre Leistung hinsichtlich der nautischen Risiken? Ihr Team fuhr...

viel zu eher zu mit angemessenem eher zu viel zu riskant riskant Risiko vorsichtig vorsichtig P3: Wie beurteilen Sie die Zusammenarbeit in Ihrer Crew im vorangegangenen Übungsab-

schnitt?

sehr schlecht eher schlecht mittelmäßig eher gut sehr gut

P4: Welche speziellen Probleme traten während des vorangegangenen Übungsabschnitts auf? Welche Fehler haben Sie während der Übung gemacht? (zutreffendes bitte ankreuzen)

zu hohe Geschwindigkeit

zu geringer Passierabstand

zu spät auf Gefahren reagiert

nicht ausreichend kommuniziert

sonstiges, nämlich __________________________________________________

___________________________________________________

Beurteilung des Lernerfolgs

L1: Wie viel haben Sie im vorangegangenen Übungsabschnitt gelernt?

gar nichts gelernt wenig mittelmäßig ziemlich viel sehr viel gelernt

Vielen Dank für Ihre Mitarbeit!

132

I NARIDAS-Profile zum Navigationsverhalten

Weser 1 mit NARIDAS (Trial1)

01020304050

60708090

100

Ris

k

Weser 1 ohne NARIDAS (Trial2)

COLENVECO

Ems 1 mit NARIDAS (Trial1)

01020304050

60708090

100

Ris

k

Ems 1 ohne NARIDAS (Trial2)

COLENVECO


01020304050

60708090

100

Ris

k

Weser2 mit NARIDAS (Trial2)

COLENVECO

8:00h 8:40h 9:20h Simulatorzeit



Anhang 133


01020304050

60708090

100

Ris

k


COLENVECO


01020304050

60708090

100

Ris

k


COLENVECO


01020304050

60708090

100

Risk


COLENVECO




134


01020304050

60708090

100

Ris

k


COLENVECO


01020304050

60708090

100

Ris

k


COLENVECO


01020304050

60708090

100

Risk


COLENVECO




Anhang 135


01020304050

60708090

100

Risk


COLENVECO


01020304050

60708090

100

Ris

k


COLENVECO

8:00h 8:40h 9:20h

Simulatorzeit


136

J Ergebnisse im USE-Q

MW (SD) System Usability Scale (SUS)38 (Skala von 0=“trifft gar nicht zu“ bis 4=“trifft völlig zu“) Studie I.1 Studie I.2 Studie II

1. Ich finde ein solches Assistenzsystem für die Schiffsführungsaufgabe sinnvoll 2,2 (0,4) 3,0 (0,5) 2,7 (0,7)

2. Das NARIDAS ist eine wertvolle Unterstützung für die Schiffsführung. 2,6(0,5) 2,9 (0,6) 2,5 (0,9)

3. Das NARIDAS kann dazu beitragen, die Kompetenz von Schiffsführern zu erhöhen. 1,8 (0,9) 3,0 (0,8) 1,9 (1,2)

4. Ich könnte mir vorstellen, das NARIDAS häufig zu benutzen. 2,3 (0,7) 3,1 (0,3) 2,3 (1,1)

5. Das NARIDAS würde meine Arbeit erleichtern. 2,3 (0,7) 2,6 (0,5) 2,3 (0,8) 6. Durch das NARIDAS wäre meine Arbeit [nicht] we-

niger interessant.39 2,1 (1,1) 3,1 (0,6) 3,0 (1,2)

7. Ich denke, dass das NARIDAS ein zuverlässiges System ist. 2,6 (0,5) 2,7 (0,7) 2,4 (0,8)

8. Das NARIDAS würde zur Erhöhung der Sicherheit in der Schifffahrt beitragen.

2,6 (0,7) 3,1 (0,6) 2,3 (0,8)

9. Die meisten Schiffsführer würden den Umgang mit dem System schnell erlernen. 3,3 (0,7) 2,6 (0,7) 3,4 (0,6)

10. Das System ist für den Einsatz auf Schiffsbrücken [nicht] ungeeignet. 3,3 (0,9) 3,1 (0,3) 3,2 (0,8)

Gestaltung der Benutzungsoberfläche40 Studie I.1 Studie I.2 Studie II

11. Einige Informationen, die NARIDAS bietet, sind [nicht] überflüssig.

2,2 (1,1) 2,1 (1,0) 1,8 (1,2)

12. In NARIDAS fehlen wichtige Informationen [nicht]. 3,1 (0,3) 2,7 (0.9) 3,2 (0,7)

13. Die von NARIDAS verwendeten Begriffe entspre-chen dem nautischen Sprachgebrauch.

2,8 (1,0) 2,9 (0,6) 3,7 (0,5)

14. NARIDAS ist intuitiv benutzbar. 3,1 (1,0)

38 In Evaluationsstudie I wurde die SUS jeweils zwei Mal zu Beginn und am Ende der Untersuchung ein-gesetzt. In dieser Tabelle sind zur besseren Übersicht lediglich die Ergebnisse der letzten Befragung enthal-ten. 39 Kursiv gesetzte Items wurden zur Auswertung umgepolt. 40 Die Items zur Gestaltung des GUI wurden nach den Ergebnissen von Studie I verändert. In dieser Tabel-le ist nur die in Studie II verwendete Version enthalten, daher gibt es für einige Items, die hier neu hinzu-kamen, in Studie I keine Werte.

Anhang 137

Gestaltung der Benutzungsoberfläche Studie I.1 Studie I.2 Studie II

15. NARIDAS ist übersichtlich gestaltet. 3,1 (0,8) 3,0 (0,5) 3,4 (0,5)

16. NARIDAS ist [nicht] umständlich zu benutzen. 3,4 (0,5) 2,9 (0,3) 3,1 (1,0)

17. Es fällt leicht, gesuchte Informationen in NARI-DAS zu finden.

3,2 (0,4) 2,4 (0,7) 3,3 (0,6)

18. Die Darstellung der Details ist [nicht] zu kompli-ziert.

2,8 (1,1)

19. Die Benutzung von NARIDAS ist komfortabel. 3,1 (0,5)

20. Insgesamt bin ich zufrieden mit der Benutzung von NARIDAS.

3,0 (0,5) 2,9 (0,3) 3,0 (0,7)

21. Die Ursachen hoher Risikowerte sind schnell auf-findbar.

3,2 (0,8)

22. Die Handlungsempfehlungen von NARIDAS sind hilfreich.

2,3 (1,0)

23. Es wäre gut, wenn NARIDAS genauere Hand-lungsempfehlungen anzeigen würde.

1,1 (1,1)

24. NARIDAS sollte [nicht] besser mit den anderen Geräten und Systemen auf der Brücke (Radar, ECDIS, Conning Display u.a.) integriert werden.

1,2 (1,2)

25. Es ist [nicht] ungünstig, dass für NARIDAS ein zusätzlicher Monitor auf der Brücke installiert wer-den muss.

1,9 (1,6)

Wahrgenommene Nützlichkeit von NARIDAS

26. NARIDAS hilft dabei, Gefahren schnell zu erken-nen.

3,0 (0,9)

27. Mit NARIDAS fällt es leicht, den Überblick über die Situation zu behalten.

2,6 (0,8)

28. NARIDAS kann dazu beitragen, dass auf der Brü-cke bessere Entscheidungen getroffen werden.

2,6 (1,0)

29. Die Risikobewertungen von NARIDAS sind gut nachvollziehbar.

3,0 (0,6)

30. NARIDAS kann sehr nützlich für Ausbildung und Training im Simulator sein.

2,7 (1,4)

31. Der Einsatz von NARIDAS im Simulator kann dazu beitragen, dass Studierende wichtige nauti-sche Zusammenhänge schneller begreifen.

2,3 (1,1)

138

Literatur Adams, D. A., Nelson, R. R. & Todd, P. A. (1992). Perceived usefulness, ease of use,

and usage of information technology: A replication. MIS Quarterly, 16, 227-247.

Adams, J. (2005). Risk (Neuauflage der 5. Aufl. von 2000). London: Routledge.

Adams, M. J., Tenney, Y. J. & Pew, R. W. (1995). Situation awareness and the cognitive management of complex systems. Human Factors, 37 (1), 85-104.

American Bureau of Shipping. (2000). Guide for Bridge Design and Navigational Equipment / Systems. Houston: American Bureau of Shipping.

Bainbridge, L. (1983). Ironies of Automation. Automatica, 19 (6), 775-779.

Baker, C. C. & McCafferty, D. B. (2005). Accident database review of human-element concerns: what do the results mean for classification? In The Royal Institution of Naval Architects (RINA), Proceedings of International Conference Human Factors in Ship Design, Safety and Operation. 23.-24. Februar 2005 in London (S. 65-71). London: RINA.

Baldauf, M. & Motz, F. (2006). Operationelle Aspekte eines zukünftigen Alarmmanage-ments zur Unterstützung der Schiffsführung. In M. Grandt (Hrsg.), Cognitive Sys-tems Engineering in der Fahrzeug- und Prozessführung. DGLR-Bericht 2006-02 (S. 191-201). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Beck, U. (1986). Risikogesellschaft. Auf dem Weg in eine andere Moderne. Frankfurt: Suhrkamp.

Berking, B. (2004). Moderne Navigation - moderne Ausbildung. HANSA International Maritime Journal, 09/2004.

Biella, M. & Schäfer, H. (2002). Situationsbewusstsein: Definitionen und messtheoreti-scher Zugang. In M. Grandt & K.-P. Gärtner (Hrsg.), Situation Awareness in der Fahrzeug- und Prozessführung. DGLR-Bericht 2002-04 (S. 251-271). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Billings, C. E. (1991). Human-centered aircraft automation: A concept and guidelines (NASA Tech. Memorandum 103855). Moffet Field, CA: NASA Ames Research Center.

Birolini, A. (2007). Reliability Engineering (5. Aufl.). Berlin: Springer.

Block, F. E., Nuutinen, L. & Ballast, B. (1999). Optimization of alarms: a study on alarm limits, alarm sounds and false alarms, intended to reduce annoyance. Journal of Clinical Monitoring and Computing, 15, 75-83.

Bortz, J. & Döring, N. (2005). Forschungsmethoden und Evaluation (3. Aufl.). Berlin: Springer.

Breda, L. van. (2000a). Capability Prediction. An Effective Way to Improve Navigational Performance. Journal of Navigation, 53, 343-354.

Breda, L. van. (2000b). Prediction Information to Improve Navigational Performance. Technical Report. Soesterberg (NL): TNO Human Factors Research Institute.

Brehmer, B. (1987). The psychology of risk. In W. T. Singleton & J. Hovden (Eds.), Risk and Decisions (S. 25-39). New York: Wiley.

Literatur 139

Breznitz, S. (1984). Cry Wolf. The Psychology of False Alarms. Hillsdale, New Jersey: Lawrence Erlbaum Associates.

Brooke, J. (1996). SUS: A 'Quick and Dirty' Usability Scale. In W. Jordan, B. Thomas, B. Weerdmeester & I. McClelland (Hrsg.), Usability Evaluation in Industry (S. 189-194). London: Taylor & Francis.

Cacciabue, P. C. (1998). Modelling and Simulation of Human Behaviour in System Control. London: Springer.

Carroll, J. & Olson, J. (1988). Mental Models in Human-Computer Interaction. In M. Helander (Hrsg.), Handbook of Human-Computer Interaction (S. 45-65). Amsterdam: Elsevier.

Carstensen, P. H. & Nielsen, M. (1997). Task Analysis of Navigator Performance. DMI Report No.2 SAFECO WP II.1.2. Risoe National Laboratory.

Chapanis, A. (1965). Man-Machine Engineering. Monterey, CA: Brooks/Cole.

Christoffersen, K. & Woods, D. D. (2003). Making Sense of Change: The Challenge of Events in Operations Environments. Columbus, OH: Ohio State University, Cognitive Systems Engineering Laboratory.

Clauß, G., Kulha, H., Lompscher, J., Rösler, H., Timpe, K.-P. & Vorwerg, G. (Hrsg.). (1983). Wörterbuch der Psychologie. Köln: Pahl-Rugenstein.

DATech (2006a). DATech-Prüfhandbuch Gebrauchstauglichkeit. Leitfaden für die ergo-nomische Evaluierung von interaktiven Systemen auf Grundlage von DIN EN ISO 9241, Teile 10 und 110 (Version 3.4). Frankfurt a.M.: Deutsche Akkreditierungs-stelle Technik GmbH.

DATech (2006b). DATech-Prüfhandbuch Usability-Engineering-Prozess. Leitfaden für die Evaluierung des Usability-Engineering-Prozesses bei der Herstellung und Pflege von interaktiven Systemen auf Grundlage von DIN EN ISO 13407 (Versi-on 1.4). Frankfurt a.M.: Deutsche Akkreditierungsstelle Technik GmbH.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13 (3), 319-340.

Davis, F. D., Bagozzi, R. P. & Warshaw, P. R. (1989). User acceptance of computer technology: A comparison of two theoretical models. Management Science, 35, 982-1003.

Deffland, C. (2004). Entwicklung und Programmierung eines virtuellen Prototypen eines Unterstützungssystems für die Schiffsführung unter Berücksichtigung ergonomi-scher Gestaltungskriterien. Diplomarbeit am FG Mensch-Maschine-Systeme der Technischen Universität Berlin.

DIN EN ISO 13407 (1999). Benutzer-orientierte Gestaltung interaktiver Systeme. Berlin: Beuth.

DIN EN ISO 9241-11 (1999). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten - Teil 11: Anforderungen an die Gebrauchstauglichkeit. Ber-lin: Beuth.

DIN EN ISO 9241-110 (2006). Ergonomie der Mensch-System-Interaktion - Teil 110: Grundsätze der Dialoggestaltung. Berlin: Beuth.

140

Dingus, T. A., McGehee, D. V., Manakkal, N., Jahns, S. K., Carney, C. & Hankey, J. M. (1997). Human factors field evaluation of automotive headway maintenance/ collision warning devices. Human Factors, 39, 216-229.

Dzida, W. & Wandke, H. (2006). Software-Ergonomie: Gestalten und Bewerten interak-tiver Systeme. In B. Zimolong & U. Konradt (Hrsg.), Ingenieurpsychologie. En-zyklopädie der Psychologie D III 2 (S. 462-494). Göttingen: Hogrefe.

Einhorn, H. J. & Hogarth, R. M. (1981). Behavioral Decision Theory: Processes of Judgment and Choice. Anuual Review of Psychology, 32, 53-88.

Eisenführ, F. & Weber, M. (2002). Rationales Entscheiden (4. Aufl.). Berlin: Springer.

Endsley, M. R. (1988). Design and evaluation for situation awareness enhancement. In Proceedings of the Human Factors Society 34th Annual Meeting (S. 97-101). Santa Monica, CA: Human Factors and Ergonomics Society.

Endsley, M. R. (1995a). Toward a Theory of Situation Awareness in Dynamic Systems. Human Factors, 37 (1), 32-64.

Endsley, M. R. (1995b). Measurement of Situation Awareness in Dynamic Systems. Human Factors, 37 (1), 65-84.

Endsley, M. R. (2000). Theoretical Underpinnings of Situation Awareness: A Critical Review. In M. R. Endsley & D. J. Garland (Hrsg.), Situation Awareness Analysis and Measurement (S. 3-32). Mahwah, NJ: Erlbaum.

Ericsson, K. A. & Simon, H. A. (1980). Verbal Reports as Data. Psychological Review, 87, 215-251.

Evanoff, T. V. & Krebs, W. K. (2002). A Maritime Navigation Display that Provides Visual Feedback to Improve Conning Officers' Ship Handling During Low-Visibility Environments. Ergonomics, 45 (15), 1078-1090.

Fischhoff, B., Lichtenstein, S., Slovic, P., Derby, S. L. & Keeney, R. L. (1981). Acceptable Risk. New York: Cambridge University Press.

Flach, J. M. (1995). Situation awareness: Proceed with caution. Human Factors, 37 (1), 149-157.

Flick, U. (1999). Qualitative Forschung. Theorie, Methoden, Anwendung in Psychologie und Sozialwissenschaften. Reinbek: Rowohlt Taschenbuch Verlag.

Giesa, H. (2003). Die Bewertung der Verlässlichkeit von Mensch-Maschine-Systemen. ZMMS Spektrum Bd. 17. Düsseldorf: VDI Verlag.

Giesa, H. G. & Timpe, K.-P. (2002). Technisches Versagen und menschliche Zuverläs-sigkeit. In K.-P. Timpe & H. Kolrep (Hrsg.), Mensch-Maschine-Systemtechnik (2. Aufl., S. 63-106). Düsseldorf: Symposion.

Giesa, H.-G. & Timpe, K.-P. (2006). Verlässlichkeit von Mensch-Maschine-Systemen. In B. Zimolong & U. Konradt (Hrsg.), Ingenieurpsychologie. Enzyklopädie der Psy-chologie D III 2 (S. 603-632). Göttingen: Hogrefe.

Gigerenzer, G. (2004). Das Einmaleins der Skepsis. Berlin: Berliner Taschenbuch Ver-lag.

Gijsel, A. van. (2006). Driver Distraction: an Approach for sustained Driver Sovereignity. In M. Grandt (Hrsg.), Cognitive Systems Engineering in der Fahr-zeug- und Prozessführung. DGLR Bericht 2006-02 (S. 241-256). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Literatur 141

Glenberg, A. M. & Langston, W. E. (1992). Comprehension of Illustrated Text: Pictures Help to Build Mental Models. Journal of Memory and Language, 31, 129-151.

Gray, W. O. (1978). Human Factors, Oil Companies International Marine Forum.

Grech, M. & Horberry, T. (2002). Human Error in Maritime Operations: Situation Awareness and Accident Reports. Proceedings of the Human Error, Safety and System Development Conference, Newcastle, Australien, 17.-18.Juni 2002.

Hacker, W. (1973). Allgemeine Arbeits- und Ingenieurpsychologie. Berlin: VEB Deut-scher Verlag der Wissenschaften.

Haller, R. (2001). Fahrer-Assistenz versus Fahrer-Bevormundung. Wie erreicht man, dass der Fahrer Herr der Situation bleibt? In T. Jürgensohn & K.-P. Timpe (Hrsg.), Kraftfahrzeugführung (S. 31-38). Berlin: Springer.

Hamborg, K.-C. & Gediga, G. (2006). Methoden und Modelle für die Gestaltung gebrauchstauglicher Software. In B. Zimolong & U. Konradt (Hrsg.), Ingenieur-psychologie. Enzyklopädie der Psychologie D III 2 (S. 495-529). Göttingen: Hogrefe.

Hammond, K. R., Hamm, R. M., Grassia, J. & Pearson, T. (1987). Direct comparison of the efficacy of intuitive and analytical cognition in expert judgement. IEEE Transactions on Systems, Man, and Cybernetics, 17 (5), 753-770.

Hart, S. G. & Wickens, C. D. (1990). Workload assessment and prediction. In H. R. Booher (Hrsg.), Manprint: An integrated approach to systems integration (S. 257-296). New York: Van Nostrand.

Hauß, Y. (2006). Die Erhebung von Situation Awareness zur prospektiven Bewertung von Aspekten der Mensch-Maschine-Systemsicherheit. ZMMS Spektrum Band 20. Düsseldorf: VDI Verlag.

Hauß, Y. & Timpe, K.-P. (2002). Automatisierung und Unterstützung in Mensch-Maschine-Systemen. In K.-P. Timpe, T. Jürgensohn, H. Kolrep (Hrsg.), Mensch-Maschine-Systemtechnik (2. Aufl., S. 41-62). Düsseldorf: Symposion.

Hollnagel, E., Bye, A., Hoffmann, M. (2000). Coping with complexity - strategies for information input overload. Proceedings of Cognitive Systems Engineering in Process Control (CSEPC) 2000, 22.-25. November 2000, Taejon, Südkorea, 264-268.

Inoue, K. & Tasker, R. L. (1990). An Improved Berthing Velocity Indication System. Proceedings of MARSIM & ICSM 90 in Tokyo, 4-7 June, 1990, 431-438.

International Chamber of Shipping. (1998). Bridge Procedures Guide (3. Aufl.). London: International Chamber of Shipping.

ISO 8468 (2007). Ship's Bridge Layout and Associated Equipment - Requirements and Guidelines.

Janis, I. L. & Mann, L. (1977). Decision Making: A Psychological Analysis of Conflict, Choice and Commitment. New York: Free Press.

Javaux, D. (2002). Human Error, Safety, and Systems Development in Aviation. Reliability Engineering and System Safety, 75, 115-119.

Jensen, O. & Sorensen, J. (2004). Incidence of Self-Reported Occupational Injuries in Seafaring - an International Study. Occupational Medicine, 54 (8), 548-555.

142

Johnson-Laird, P. M. (1983). Mental Models. In M. I. Posner (Hrsg.), Foundations of Cognitive Science (S. 469-493). Cambridge: Cambridge University Press.

Jungermann, H. (2001). One mode of decision making (research) - no less, no more. Journal of Behavioral Decision Making, 14 (5), 367-370.

Jungermann, H., Pfister, R. & Fischer, K. (2005). Einführung in die Entscheidungspsy-chologie. Heidelberg: Spektrum Akademischer Verlag.

Karnahl, T., Karrer, K., Hilgenstock, H. & Seifert, K. (2004). Auf dem Weg zu einer Müdigkeitswarnung im Auto. In C. Steffens, M. Thüring & L. Urbas (Hrsg.), Entwerfen und Gestalten. 5. Berliner Werkstatt Mensch-Maschine-Systeme. ZMMS Spektrum Bd. 18 (S. 288-306). Düsseldorf: VDI Verlag.

Karrer, K., Seifert, K. & Karnahl, T. (in Druck). Empirical and technical challenges for active driving safety. In A. G. Gale, I. D. Brown, C. M. Haslegrave & S. P. Taylor (Hrsg.), Vision in Vehicles X. Amsterdam: Elsevier.

Keitsch, D. (2004). Risikomanagement. Stuttgart: Schäffer-Poeschel.

Kersandt, D. (1995). ANRIS - Automated Navigation Risk Identification System - A knowledge based "Early Warning System" for avoiding the point of no return. In Proceedings of the International Symposium of Human Factors on Board (ISHFOB '95), 15-17 November 1995, Bremen, Germany. TÜV Rheinland.

Kersandt, D. (2003a). Entscheidungshilfen: Operationelle Messung von Risiko und Kompetenz in Hochrisikosystemen, dargestellt am Beispiel der Schiffsführung. In C. Steffens, M. Thüring & L. Urbas (Hrsg.), Entwerfen und Gestalten. 5. Ber-liner Werkstatt Mensch-Maschine-Systeme. ZMMS-Spektrum Bd. 18. Fortschritt-Berichte VDI Reihe 22 Nr. 16 (S. 554-571). Düsseldorf: VDI-Verlag.

Kersandt, D. (2003b). Risiko als Gestaltungselement in der Schiffsführung. In Hansa International Maritime Journal. http://www.hansa-online.de [Abgerufen am 18.01.2008]

Kersandt, D. (2004). Risikoabschätzung im Schiffsführungsprozess. Rostock: FuE-Bericht im Auftrag der AVECS Corporation AG.

Kersandt, D. (2006). Test des Assistenzsystems NARIDAS auf einem Schiffsführungssimu-lator unter Berücksichtigung seiner Auswirkungen auf die Navigationsleistungen. Rostock: FuE-Bericht im Auftrag der AVECS Corporation AG.

Klebelsberg, D. (1982). Verkehrspsychologie. Berlin: Springer.

Klein, G. A. (1989). Recognition-primed decisions. In W. B. Rouse (Hrsg.), Advances in Man-Machine Systems Research (S. 47-92). Greenwich, CT: JAI Press.

Klein, G. A., Orasanu, J., Calderwood, R. & Zsambok, C. (Hrsg.) (1993). Decision Making in Action: Models and Methods. Norwood, CT: Ablex.

Kluwe, R. H. (2006). Informationsaufnahme und Informationsverarbeitung. In B. Zimo-long & U. Konradt (Hrsg.), Ingenieurpsychologie. Enzyklopädie der Psychologie D III 2 (S. 35-70). Göttingen: Hogrefe.

Koester, T. (2002). Human Factors and Everyday Routine in the Maritime Work Domain. In D. De Waard, K. A. Brookhuis, J. Moraal. & A. Toffetti (Hrsg.), Human Factors in Transportation, Communication, Health, and the Workplace (S. 361-376). Maastricht: Shaker Publishing.

Literatur 143

Komischke, T. (2003). Informationsüberflutung, Bewältigungsmechanismen und Impli-kationen für Prozessleitsysteme. i-com, 2/2003, 13-20.

Kraiss, K.-F. (1990). Entscheidungshilfen in hochautomatisierten Systemen. In C. G. Hoyos & B. Zimolong (Hrsg.), Ingenieurpsychologie. Enzyklopädie der Psycho-logie Bd. D-III-2 (S. 455-478). Göttingen: Hogrefe.

Lützhöft, M. (2004). "The technology is great when it works" Maritime Technology and Human Integration on the Ship's Bridge. Doctoral Dissertation. University of Linköping.

Lützhöft, M. & Dekker, S. W. A. (2002). On Your Watch: Automation on the Bridge. Journal of Navigation, 55(1), 83-96.

Lützhöft, M., Sherwood Jones, B., Earthy, J. V. & Bergquist, C. (2007). MTO-SEA: Competent Cadets Make Safer System. In International Conference Human Factors in Ship Design, Safety & Operation (S. 41-45). London: The Royal Institution of Naval Architects.

Manzey, D. & Bahner, J. E. (2005). Vertrauen in Automation als Aspekt der Verlässlich-keit von Mensch-Maschine-Systemen. In K. Karrer, B. Gauss & C. Steffens (Hrsg.), Beiträge zur Mensch-Maschine-Systemtechnik aus Forschung und Praxis (S. 93-109). Düsseldorf: Symposion.

Mayhew, D. J. (1999). The Usability Engineering Lifecycle. San Francisco, CA: Morgan Kaufmann.

Mayring, P. (2000). Qualitative Inhaltsanalyse. Grundlagen und Techniken (7. Aufl.). Weinheim: Deutscher Studien Verlag.

McNamara, R., Collins, A. & Matthews, V. (2000). A Review of Research into Fatigue in Offshore Shipping. In Maritime Review (S. 118-122). London: Pacific Press.

Merenkulkulaitos. (1997). Komentosiltatyön inhimmilliset virheet. Helsinki: Merenkulkuosasto.

Merton, R. K. & Kendall, P. L. (1946). The focussed interview. American Journal of Sociology, 51, 541-557.

Meyer, J. (2004). Conceptual Issues in the Study of Dynamic Hazard Warnings. Human Factors, 46 (2), 196-204.

Mitchell, C. M. & Miller, R. A. (1986). A discrete control model of operator function: A methodology for information display design. IEEE Transactions on Systems, Man, and Cybernetics, 17, 573-593.

Moray, N. (1986). Monitoring behaviour and supervisory control. In K. Boff, L. Kaufman & J. Thomas (Hrsg.), Handbook of Perception and Human Performance. Vol. II Cognitive Processes and Performance (S. 40-51). New York: Wiley.

Moray, N. (1997). Human Factors in Process Control. In G. Salvendy (Hrsg.), Handbook of Human Factors and Ergonomics (2nd Edition, S. 1944-1971). New York: Wiley.

Moray, N. (2003). Monitoring, complacency, scepticism and eutactic behavior. International Journal of Industrial Ergonomics, 31, 175-178.

Moreton, M.-B. (2000). Human Factors on the Ship's Bridge. Dissertation. Liverpool: John Morres University.

144

Näätänen, R. & Summala, H. (1974). A model for the role of motivational factors in driving decision making. Accident Analysis and Prevention, 6, 243-261.

Näätänen, R. & Summala, H. (1976). Road-user behavior and traffic accidents. Amsterdam: North-Holland.

Neisser, U. (1976). Cognition and Reality: Principles and Implications of Cognitive Psychology. San Franciso: Freeman.

Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology, 2, 175-220.

Nielsen, J. (1994). Usability Engineering. San Francisco, CA: Morgan Kaufmann.

Nielsen, J. & Mack, R. L. (Hrsg.). (1994). Usability Inspection Methods. New York: Wiley.

O'Donnel, R. D. & Eggmeier, F. T. (1986). Workload assessment methodology. In K. Boff, L. Kaufmann & J. Thomas (Hrsg.), Handbook of perception and human performance (S. 42-49). New York: Wiley.

O'Hare, D. (2003). Aeronautical Decision Making: Metaphors, Models, and Methods. In P. S. Tsang & M. A. Vidulich (Hrsg.), Principles and Practice of Aviation Psychology (S. 201-237). Mahwah: Lawrence Erlbaum.

Obermeier, O.-P. (1999). Die Kunst der Risikokommunikation. Über Risiko, Kommunika-tion und Themenmanagement. Hamburg: Murmann.

Orasanu, J. (1995). Training for aviation decision making: The naturalistic decision making perspective. In Proceedings of the Human Factors and Ergonomics Society 39th Annual Meeting (S. 1258-1262). Santa Monica: Human Factors and Ergonomics Society.

Orasanu, J. & Connolly, T. (1993). The Reinvention of Decision Making. In G. A. Klein, J. Orasanu, R. Calderwood & C. Zsambok (Hrsg.), Decision Making in Action: Models and Methods (S. 3-20). Norwood, CT: Ablex.

Oschanin, D. A. (1966). Das operative Abbild eines gesteuerten Objekts. XVIII. Interna-tionaler Kongress für Psychologie, Sympos. 27: Theoretische Probleme in Mensch-Maschine-Systemen.

Parasuraman, R., Molloy, R. & Singh, I. L. (1993). Performance consequences of automation induced "Complacency". The International Journal of Aviation Psychology, 2, 1-23.

Parasuraman, R. & Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors, 39 (2), 230-253.

Perrow, C. (1989). Normale Katastrophen. Frankfurt: Campus.

Pfeiffer, B. M. (2005). Control Performance Monitoring mit einer Kombination aus sto-chastischen und deterministischen Merkmalen. In GMA-Kongress 2005 - Auto-mation als interdisziplinäre Herausforderung. VDI-Berichte 1883 (S. 411-419). Düsseldorf: VDI-Verlag.

Pollard, J., Sussman, E. & Stearns, M. (1990). Shipboard Crew Fatigue, Safety and Reduced Manning. Washington, D.C.: U.S. Maritime Administration.

Pollatsek, A., Narayanaan, V., Pradhan, A. & Fisher, D. L. (2006). Using Eye Movements to Evaluate a PC-Based Risk Awareness and Perception Training Program on a Driving Simulator. Human Factors, 48(3), 447-464.

Literatur 145

Porsmyr, J. (2004). A Safety Parameter Display system (SPDS) for Kola NPP. Presentation at NKS Seminar, Halden (Norwegen), 25.-26. November 2004..

Pradhan, A. K., Fisher, D. L. & Pollatsek, A. (2006). Risk Perception Training for Novice Drivers: Evaluating Duration of Effects on a Driving Simulator. Transportation Research Record: Journal of the Transportation Research Board, 1969, 58-64.

Pritchett, A. (2001). Reviewing the role of cockpit alerting systems. Human Factors and Aerospace Safety, 1, 5-38.

Quinn, P. T. & Scott, S. M. (1982). The Human Element in Shipping Casualties. London: Tavistock Institute of Human Relations.

Rafaely, V., Meyer, J., Zilberman-Sandler, I. & Viener, S. (2006). Perception of Traffic Risks for Older and Younger Adults. Accident Analysis and Prevention, 38(6), 1231-1236.

Rasmussen, J. (1983). Skills, rules, knowledge; signals, signs, and symbols, and other distinctions in human performance models. IEEE Transactions on System, Man and Cybernetics, 13, 257-266.

Rasmussen, J., Pejtersen, A. M. & Goodstein, L. P. (1994). Cognitive Systems Engineering. New York: John Wiley & Sons.

Reason, J. (1990). Human Error. Cambridge, MA: Cambridge University Press.

Richter, W. (2002). Informationswahrnehmung auf der Schiffsbrücke. In 38. BDP-Kongress für Verkehrspsychologie, Universität Regensburg, 2002, Arbeitsgruppe 10: Schifffahrtspsychologie. http://psydok.sulb.uni-saarland.de/voll-texte/2006/730/. [Abgerufen am 18.01.2008]

Rötting, M., Huang, Y. H., McDevitt, J. R. & Melton, D. (2004). Einstellung von LKW-Fahrern zu maschinell generiertem Feedback über die Sicherheit ihres Fahrver-haltens. In Useware 2004: Nutzergerecht Gestaltung technischer Systeme. VDI-Berichte Nr. 1837 (S. 109-116). Düsseldorf: VDI-Verlag.

Rohmert, W. (1973). Arbeitswissenschaft I. Darmstadt: Lehrstuhl für Arbeitswissenschaft TH Darmstadt.

Sanquist, T. F., Lee, J. D., Callum, M. C. & Rothblum, A. M. (1996). Evaluating Shipboard Automation: Application to Mariner Training, Certification, and Equipment Design. Paper presented at the National Transportation Safety Board Forum on Integrated Bridge Systems. Washington, D.C.: U.S. Coast Guard Research and Development Center.

Sanquist, T. F., Lee, J. D. & Rothblum, A. M. (1994). Cognitive analysis of navigation tasks: A tool for training assessment and equipment design (AD-A284392). Washington, D.C.: Department of Transportation, U.S. Coast Guard.

Sanquist, T., Raby, M. & Forsythe, A. (1997). Fatigue in Merchant Marine Personnel. Ancient Wisdom - Future Technology. In Proceedings of the Human Factors and Ergonomics Society 41st Annual Meeting (S. 983-987). Santa Monica, CA: Human Factors and Ergonomics Society.

Sarris, V. (1990). Methodologische Grundlagen der Experimentalpsychologie (Bd. 1). München: Reinhardt.

Sarter, N. B. & Woods, D. D. (1995). How in the world did I ever get into that mode? Moder error and awareness in supervisory control. Human Factors, 37 (1), 5-19.

146

Sauer, J., Wastell, D. G., Hockey, R. J., Crawshaw, C. M., Ishak, M. & Downing, J. C. (2002). Effects of display design on performance in a simulated ship navigation environment. Ergonomics, 45 (5), 329-347.

Savage, L. J. (1954). The Foundations of Statistics. New York: Wiley.

Schmidt, L. & Grandt, M. (2006). Modellbasierte Gestaltung von Mensch-Maschine-Schnittstellen zur Prozessführung. In M. Grandt (Hrsg.), Cognitive Systems Engi-neering in der Fahrzeug- und Prozessführung. DGLR Bericht 2006-02 (S. 55-74). Bonn: Deutsche Gesellschaft für Luft- und Raumfahrt e.V.

Schönpflug, W. (1987). Beanspruchung und Belastung bei der Arbeit - Konzepte und Theorien. In U. Kleinbeck & J. Rutenfranz (Hrsg.), Arbeitspsychologie, Enzyklo-pädie der Psychologie D III 1 (S. 130-184). Göttingen: Hogrefe.

Sheridan, T. B. (1992). Telerobotics, Automation, and Human Supervisory Control. Cambridge, Massachussets: MIT Press.

Shrout, P. E. & Fleiss, J. L. (1979). Intraclass Correlations. Uses in Assessing Rater Reliability. Psychological Bulleting, 86, 420-428.

Singleton, W. T. & Hovden, J. (Hrsg.) (1987). Risk and Decisions. Chichester: Wiley.

Slovic, P. (2000). The Perception of Risk. London: Earthscan.

Slovic, P., Fischhoff, B. & Lichtenstein, S. (1977). Behavioral decision theory. Annual Review of Psychology, 28, 1-39.

Slovic, P., Fischhoff, B. & Lichtenstein, S. (1982). Facts versus fears: Understanding perceived risks. In D. Kahnemann, P. Slovic & A. Tversky (Eds.), Judgement under uncertainty: Heuristics and biases (S. 463-489). New York: Cambridge University Press.

Smith, M. W., Akerstrom-Hoffman, R., Pizzariello, C. M., Siegel, S. I. & Gonin, I. M. (1994). Mariner's Use of Automated Navigation Systems. Transportation Reserach Record No. 1464, Human Engineering in Transportation Systems, User Information SYstems, and Highway Safety Issues (S. 3-11). Washington, D.C.: Transportation Research Board.

Summala, H. (1986). Risk control is not risk adjustment: The zero-risk theory of driver behaviour and its implications (Report 111986). Helsinki: University of Helsinki, Traffic Accident Research Unit.

Summala, H. (2005). Traffic psychology theories: towards understanding driving behaviour and safety efforts. In G. Underwood (Hrsg.), Traffic & Transport Psychology. Theory and Application. Proceedings of the ICTTP 2004 (S. 383-394). Amsterdam: Elsevier.

Tergan, S.-O. (2000). Grundlagen der Evaluation: ein Überblick. In P. Schenkel, S.-O. Tergan, A. Lottmann (Hrsg.), Qualitätsbeurteilung multimedialer Lern- und In-formationssysteme (S. 22-51). Nürnberg: BW Bildung und Wissen.

Timpe, K.-P. (1998). Unterstützungssysteme als interdisziplinäre Herausforderung. In H.-P. Willumeit & H. Kolrep (Hrsg.), Wohin führen Unterstützungssysteme? Ent-scheidungshilfe und Assistenz in Mensch-Maschine-Systemen. 2. Berliner Werk-statt Mensch-Maschine-Systeme, 7.-9.10.1997 (S. 1-20). Sinzheim: Pro Universi-tate.

Literatur 147

Timpe, K.-P. & Kolrep, H. (2002). Das Mensch-Maschine-System als interdisziplinärer Gegenstand. In K.-P. Timpe, T. Jürgensohn, H. Kolrep (Hrsg.), Mensch-Maschine-Systemtechnik (2. Aufl., S. 9-40). Düsseldorf: Symposion.

TRANSAS. (2007). Integrated Navigation System. http://www.transas.com/pro-ducts/onboard/ins/ins/ [Abgerufen am 18.01.2008].

Tversky, A. & Kahnemann, D. (1974). Judgment under uncertainty: Heuristics and biases. Science, 185, 1124-1131.

Uhlarik, J. & Comerford, D. A. (2002). A Review of Situation Awareness Literature Relevant to Pilot Surveillance Functions. DOT/FAA/AM-02/3. Washington DC: Federal Aviation Administration, Office of Aerospace Medicine.

Urbas, L., Schulze-Kissing, D. & Leuchter, S. (2005). Werkzeuge für die Erstellung kog-nitiver Nutzermodelle. In K. Karrer, B. Gauss & C. Steffens (Hrsg.), Beiträge zur Mensch-Maschine-Systemtechnik aus Forschung und Praxis (S. 247-264). Düsseldorf: Symposion.

Vaa, T. (2001). Cognition and emotion in driver behaviour models: some critical viewpoints. In Proceedings of 14th ICTCT Workshop. www.ictct.org.

Van Dijk, T. & Kintsch, W. (1983). Strategies of Discourse Comprehension. San Diego, CA (USA): Academic Press.

VDI 4001-2 (1985). Begriffsbestimmungen zum Gebrauch des VDI-Handbuches Techni-sche Zuverlässigkeit.

Venkatesh, V., Morris, M. G., Davis, G. B. & Davis, F. D. (2003). User Acceptance of Information Technology: Toward a Unified View. MIS Quarterly, 27 (3), 425-478.

Vidulich, M. A. (2003). Mental Workload and Situation Awareness: Essential Concepts for Aviation Psychology. In P. S. Tsang & M. A. Vidulich (Hrsg.), Principles and Practice of Aviation Psychology (S. 115-146). Mahwah: Lawrence Erlbaum.

Von Neumann, J. & Morgenstern, O. (1947). Theory of Games and Economic Behavior. Princeton, NJ: Princeton University Press.

Wagenaar, W. A. & Groeneweg, J. (1988). Accidents at sea: Multiple causes and impossible consequences. In E. Hollnagel, G. Mancini & D. D. Woods (Hrsg.), Cognitive Engineering in Complex Dynamic Worlds (S. 133-144). London: Academic Press.

Wandke, H. (2005). Assistance in human-machine interaction: a conceptual framework an a proposal for a taxonomy. Theoretical Issues in Ergonomics Science, 6(2), 129-155.

Wason, P. C. (1960). On the failure to eliminate hypotheses in a conceptual task. Quarterly Journal of Experimental Psychology, 12, 129-140.

Wickens, C. (2003). Aviation Displays. In P. S. Tsang & M. A. Vidulich (Hrsg.), Principles and Practice of Aviation Psychology (S. 147-200). Mahwah: Lawrence Erlbaum.

Wickens, C. D. (1992). Engineering Psychology and Human Performance (2nd Edition). New York: Harper Collins.

148

Wickens, C. D., Goh, J, Helleberg, J., Horrey, B. & Talleur, D. A. (2003). Attentional models of multitask pilot performance using advanced display technology. Human Factors, 45(3), 360-380.

Wickens, C. D & Hollands, J. G. (2000). Engineering psychology and human performance (3rd Edition). Upper Saddle River, NJ: Prentice-Hall.

Wickens, C. D., Lee, J. D., Liu, Y. & Gordon Becker, S. (2004). An Introduction to Human Factors Engineering (2. Aufl.). London: Pearson Education.

Wickens, C. D., McCarley, J. S., Alexander, A. L., Thomas, L. C., Ambinder, M. & Zheng, S. (2005). Attention-Situation Awareness (A-SA) Model of Pilot Error. Technical Report AHFD-04-15/NASA-04.5. Moffet Field, CA: NASA Ames Research Center.

Wiener, E. L. & Curry, R. E. (1980). Flight-deck automation: Promises and problems. Ergonomics, 23, 995-1011.

Wilde, G. J. S. (1982). The theory of Risk Homeostasis: Implications for safety and health. Risk Analysis, 2, 209-225.

Wilde, G. J. S. (1994). Target Risk. Toronto: PDE Publications.

Woods, D. D., Patterson, E. S. & Roth, E. M. (2002). Can We Ever Escape from Data Overload? A Cognitive Systems Analysis. Cognition, Technology & Work, 4, 22-36.

Wottawa, H. & Thierau, H. (2003). Lehrbuch Evaluation (3. Aufl.). Bern: Huber.

Yates, J. F. (Hrsg.) (1992). Risk-Taking Behavior. Chichester: Wiley.

Zsambok, C. E. & Klein, G. A. (1997). Naturalistic decision making. Mahwah, NJ: Erlbaum.

Evaluation von Situational Risk Assessment Systemen...Evaluation von Situational Risk Assessment...

Documents

Transcript of Evaluation von Situational Risk Assessment Systemen...Evaluation von Situational Risk Assessment...