Verfahren 7 - Q-DAS · Verfahren 7 Die Berechnungsoptionen für Cohens Kappa in den Q-DAS...

Verfahren 7 Die Berechnungsoptionen fr Cohens Kappa

in den Q-DAS Software-Produkten

Verfahren 7: Berechnungsoptionen fr Cohens Kappa 1/23

Version: A 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx

Verfahren 7: Berechnungsoptionen fr Cohens Kappa

Inhalt Verfahren 7: Berechnungsoptionen fr Cohens Kappa ...................................................................... 1

Warum dieses Dokument? .............................................................................................................. 2

Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA ....................................................... 3

Beispieldaten ............................................................................................................................... 3

Standardberechnung ....................................................................................................................... 4

AIAG MSA Standard ......................................................................................................................... 7

Datensatz ohne Referenzurteile .................................................................................................. 9

Datensatz mit Referenzurteilen ................................................................................................ 12

AIAG MSA Extended ...................................................................................................................... 15

Datensatz ohne Referenzurteile ................................................................................................ 16

Datensatz mit Referenzurteilen ................................................................................................ 21



Warum dieses Dokument?

In den Programm solara.MP und destra knnen beim Verfahren 7 verschiedene

Berechnungsoptionen fr den Kappa-Index nach Cohen eingestellt werden. Worin diese

Unterschiede bestehen, kann der Anwender nicht direkt ersehen. Hier wird dem Leser eine

Erluterung geboten, welche Auswirkung das Einstellen einer bestimmten Berechnungsmethode auf

die angezeigten Ergebnisse hat.

Was mit dem Dokument nicht beabsichtigt ist Das Dokument stellt keine Einfhrung in die Bestimmung des Kappa-Index nach Cohen dar und es ist

auch kein Ersatz fr eine Schulung zu diesem Thema. Vielmehr wird das Wissen hier schon

vorausgesetzt.

Auswertestrategie in solara.MP oder in destra, Modul Messsystemanalyse Wie aus der Abbildung 1 entnommen werden kann, sind drei Berechnungsoptionen fr den Kappa-

Index nach Cohen in der Software verfgbar. Jede Berechnungsoption ist in einem eigenen Kapitel

beschrieben, wobei in allen Kapiteln das gleiche Zahlenbeispiel verwendet wurde.

Abbildung 1: Auswertestrategie zum Verfahren 7 - Berechnung Cohen's Kappa

Das verwendete Zahlenbeispiel stammt aus der AIAG-Richtlinie Measurement System Analysis

(4th Edition, Page 134). Aus Platzgrnden ist der Rechengang fr den Prfer A jeweils ausfhrlich

dargestellt und derjenige fr die weiteren Prfer da analog stets nur angedeutet.



Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA

Drei Prfer haben 50 Einheiten in drei Durchgngen geprft. Dadurch sind 3 3 50 = 450

Prfergebnisse entstanden. Zustzlich wurde zu jedem Teil genau eine einzige Referenzbewertung

durchgefhrt. Somit besteht der Datensatz aus 450 Prferurteilen und weiteren 50 Referenzurteilen.

Beispieldaten

Abbildung 2: Beispieldaten aus der AIAG-Richtlinie Measurement System Analysis



Standardberechnung

Diese Einstellung ist nur geeignet, wenn in allen Fllen sicher ist, dass die auszuwertenden

Datenstze eine Referenzbewertung enthalten.

Abbildung 3: Berechnung Cohen's Kappa Standardberechnung

Welche Ergebnisse werden berechnet?

Wird ein Datensatz mit Referenzbewertung verwendet und whlt man die Auswertung Cohens

Kappa Prferurteil mit Referenz Prferbereinstimmung, so erhlt man das in der Fehler!

erweisquelle konnte nicht gefunden werden. dargestellte Ergebnis: den Vergleich der Prferurteile

mit den Referenzurteilen, wie z.B. A mit Referenz, B mit Referenz, C mit Referenz und alle Prfer mit

Referenz.

Abbildung 4: Ergebnisaufruf bei Einstellung Standardberechnung

Abbildung 5: Cohens Kappa - Vergleich der Prferurteile mit der Referenz



Erster Schritt: Die beobachteten Urteilskombinationen der Prfer werden ausgezhlt. Das Ergebnis

dieser Zhlung ist in der Tabelle 1 dargestellt. Dort bedeutet das Symbol A1, dass hier die Urteile des

Prfers A aus dem ersten Durchgang betrachtet werden.

Hinweis: Analog mssen diese Zhlungen fr die weiteren Durchgnge 2 und 3 durchgefhrt werden.

A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe

Referenz: Teil schlecht = 1 34 0 34

Referenz: Teil gut = 0 0 16 16

Summe 34 16 50 Tabelle 1: Beobachtete Hufigkeiten der Urteile des Prfers A

Zweiter Schritt: Man berechnet die beobachteten relativen Hufigkeiten der Prferurteile aus den

Zhlergebnissen im ersten Schritt. Das Vorgehen mit Ergebnisangabe st in der Tabelle 2 dargestellt.


Referenz: Teil schlecht = 1 34

50= 0.68

0

50= 0 0.68

Referenz: Teil gut = 0 0

50= 0

16

50= 0.32 0.32

Summe 0.68 0.32 1 Tabelle 2: Relative Beobachtungshufigkeit der Urteile des Prfers A

Dritter Schritt: Man berechnet die erwarteten relativen Hufigkeiten, wieder auf der Grundlage der

Zhlungen im Schritt 1. Das Rechenschema mit Ergebnis ist in der Tabelle 3 dargestellt.



50

34

50= 0.4624

16

50

34

50= 0.2176 0.68


50

16

50= 0.2176

16

50

16

50= 0.1024 0.32

Summe 0.68 0.32 1 Tabelle 3: Erwartete relative Hufigkeiten der Urteile des Prfers A

Vierter Schritt: Es wird der Anteilswert Po = beobachteter Anteil bereinstimmender Prferurteile

und der Anteilswert Pe = Erwarteter Anteil bereinstimmender Prferurteile berechnet. Dazu

werden die Inhalte (Anteilswerte) der Hauptdiagonalzellen in Tabelle 2 bzw. Tabelle 3, addiert.

Beobachteter Anteil bereinstimmender Prferentscheidungen (aus Tabelle 2):

= 0.68 + 0.32 = 1.0

Formel 1: Beobachteter Anteil gleicher Urteile, berechnet fr den ersten Durchlauf Prfer A mit Referenz



Erwarteter Anteil bereinstimmender Prferentscheidungen (aus Tabelle 3):

= 0.4624 + 0.1024 = 0.5648

Formel 2: Erwarteter Anteil gleicher Urteile, berechnet fr den ersten Durchlauf Prfer A mit Referenz

Fnfter Schritt: Es wird der Kappa-Index nach Cohen anhand der im Schritt vier ermittelten

Anteilswerte berechnet. Fr das Beispiel - Vergleich der Prferurteile von Prfer A im ersten

Prfdurchgang mit der Referenzbewertung ist das Ergebnis dargestellt:

1 = 1

=1 0.5648

1 0.5648= 1.0

Formel 3: Kappa-Index nach Cohen, berechnet fr den ersten Durchlauf Prfer A mit Referenz

Fr den zweiten Prfdurchgang des Prfers A erhlt man analog nach dem oben angegebenen Fnf-

Schritt-Schema den Kappa-Werte = 0.9081 und fr den dritten Durchgang den Wert

= 0,7331. Der Kappa-Index fr den Prfer A ist der Mittelwert aus den drei Kappa-Werten, die

man fr die drei Durchgnge des Prfers A zuvor berechnet hat:

=1 + 2 + 3

3=

1.0 + 0.9081 + 0.7331

3= 0.880

Formel 4: Kappa-Index nach Cohen, berechnet als Mittelwert

Hinweis: Um alle Ergebnisse fr das Zahlenbeispiel zu erhalten, muss das Fnf-Schritte-Schema wie

es am Beispiel des Prfers A beschrieben wurde auch fr die Prfer B und C ausgefhrt werden.

In der Tabelle 4 ist das Rechenschema zur Bestimmung der Kappa-Werte dargestellt.

= + +

3

=1 + 2 + 3

3 =

1 + 2 + 33

=1 + 2 + 3

3

1 2 3 1 2 3 1 2 3 Tabelle 4: bersicht zur Bildung der Kappa-Werte, Einstellung Standardberechnung



AIAG MSA Standard

Bei dieser Einstellung wird das Rechenschema aus der AIAG-Richtlinie Measurement System Analysis

(4th Edition) verwendet. Wer die Ergebnisse genauso wie in der Richtlinie dargestellt erhalten

mchte, sollte diese Einstellung in der Software whlen.

Abbildung 6: Berechnung Cohen's Kappa - AIAG MSA Standard

Welche Ergebnisse werden berechnet?

Wird ein Datensatz ohne Referenzwerte geladen, so werden die paarweisen Vergleicher der Prfer

untereinander bestimmt.

Paarweiser Vergleich der Prfer im Beispiel: A mit B, A mit C und B mit C.

Abbildung 7: Aufruf der Ergebnisse im "Assistenten"

Abbildung 8: Cohens Kappa - AIAG MSA Standard, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte



Bei einem Datensatz mit Referenzwerten werden folgende Ergebnisse ausgegeben:

Paarweise Vergleicher der Prfer untereinander

Paarweise Vergleiche der Prfer mit den Referenzwerten

Exemplarisch fr die Daten des Beispiels erhlt man die folgenden Vergleiche:

Abbildung 9: Aufruf der Ergebnisse im "Assistenten"

Abbildung 10: Cohens Kappa - AIAG MSA Standard links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten



Datensatz ohne Referenzurteile

Betrachtet wird das Auswerten gem der Auswahl Cohens Kappa - Prferurteil ohne Referenz

Prferbereinstimmung.

Paarweise Vergleiche der Prferurteile

Fr die Auswertung werden Urteilspaare gebildet. Die Tabelle 5 zeigt, welche Paarungen im

Beispieldatensatz miteinander verglichen werden mssen. Dabei ist die symbolische Schreibweise

bestehend aus Buchstabe und Zahl wie folgt zu deuten: A1 = Prfer A im ersten Durchgang, A2 =

Prfer A im zweiten Durchgang, usw.

A mit B A mit C B mit C

A1 = B1; A2 = B2; A3 = B3 A1 = C1; A2 = C2; A3 = C3 B1 = C1; B2 = C2; B3 = C3 Tabelle 5: bersicht der paarweisen Urteilsvergleiche

Erster Schritt: Bei jedem Durchgang trifft ein Prfer 50 Prfentscheidungen. Somit sind fr den

paarweisen Vergleich der Urteile der beiden Prfer A und B insgesamt 150 Urteilspaare auszuzhlen:

50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schlielich 50

Urteilspaare im dritten Durchgang. Das Ergebnis dieser Zhlungen ist in der Tabelle 6 dargestellt.

A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe

Urteil B: Teil schlecht = 1 97 6 103

Urteil B: Teil gut = 0 3 44 47

Summe 100 50 150 Tabelle 6: Beobachtete Hufigkeiten der paarweise miteinander verglichenen Urteile der Prfer A und B

Vierter Schritt: Aus den Ergebnissen der beobachteten Hufigkeiten werden die relativen

Hufigkeiten berechnet.


Urteil B: Teil schlecht = 1 97

150= 0.6467

6

150= 0.04 0.6867

Urteil B: Teil gut = 0 3

150= 0.02

44

150= 0.2933 0.3133

Summe 0.6667 0.3333 1 Tabelle 7: Beobachtete relative Hufigkeiten der paarweise verglichenen Urteile der Prfer A und B



Dritter Schritt: Nun werden die erwarteten relativen Hufigkeiten der paarweisen Urteile berechnet:



150

100

150= 0.4578

103

150

50

150= 0.2289 0.6867


150

100

150= 0.2089

47

150

50

150= 0.1044 0.3133

Summe 0.6667 0.3333 1 Tabelle 8: Erwartete relative Hufigkeiten der paarweise verglichenen Urteile der Prfer A und B

Vierter Schritt: Mit den Ergebnissen in den Hauptdiagonal-Zellen der Tabelle 7 berechnet man den

beobachteten Anteil bereinstimmender Prferurteile:

= 0.6467 + 0.2933 = 0.94

Formel 5: Beobachteter Anteil gleicher Urteile, berechnet fr den Vergleich der Prfer A und B

Mit den Ergebnissen in den Hauptdiagonal-Zellen in der Tabelle 8 berechnet man den erwarteten

Anteil bereinstimmender Prferurteile:

= 0.4578 + 0.1044 = 0.5622

Formel 6: Erwarteter Anteil gleicher Urteile, berechnet fr den Vergleich der Prfer A und B

Fnfter Schritt: Nun wird mit den im Schritt 4 berechneten Anteilswerten der Kappa-Index nach

Cohen berechnet.

( ) = 1

=0.94 0.5622

1 0.5622= 0.8629

Formel 7: Kappa-Index nach Cohen, berechnet fr den Vergleich der Prfer A und B

Hinweis: Analog werden die Kappa-Werte fr den paarweisen Vergleich A mit C und B mit C

berechnet.

Zur Erinnerung: Im Programm erhlt man das Ergebnis, wenn man Cohens Kappa - Prferurteil ohne

Referenz Prferbereinstimmung auswhlt.



Abbildung 11: Cohen's Kappa - MSA AIAG Standard ohne Referenzwerte-Vergleich



Datensatz mit Referenzurteilen

Whlt man Cohens Kappa - Prferurteil mit Referenz Prferbereinstimmung, so erhlt man die

Ergebnisse fr den Vergleich der Urteile von jeweils einem Prfer mit den Referenzurteilen.

bersicht der paarweisen Vergleiche (Prferurteile mit Referenzbewertung)

In der Tabelle 9 ist dargestellt, welche Urteilspaare gebildet werden mssen. Wieder ist die

symbolische Schreibweise Buchstabe und Zahlenwert wie folgt zu deuten: A1 = Prfer A im ersten

Durchgang, A2 = Prfer A im zweiten Durchgang, usw.

A mit Referenz B mit Referenz C mit Referenz

A1 = Ref.; A2=Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 9: bersicht aller paarweise zu vergleichender Urteile - Prfer mit Referenz

Erster Schritt: In jedem Durchgang sind 50 Prferurteile mit 50 Referenzbewertungen zu

vergleichen. Somit sind insgesamt 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten

Durchgang und schlielich 50 Urteilspaare im dritten Durchgang auszuzhlen. Das Ergebnis dieser

Zhlungen ist in der Tabelle 10 dargestellt.

A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe



Summe 100 50 150 Tabelle 10: Beobachtete Hufigkeit der paarweise verglichenen Urteile Prfer A mit Referenz

Zweiter Schritt: Mit den Zhlergebnissen aus der Tabelle 10 berechnet man die beobachteten

relativen Hufigkeiten der paarweisen Urteilsvergleiche Prfer mit Referenz. Das Ergebnis ist in der

Tabelle 11 dargestellt.



150= 0.6467

5

150= 0.0333 0.68


150= 0.02

45

150= 0.3 0.32

Summe 0.6667 0.3333 1 Tabelle 11: Beobachtete relative Hufigkeit der paarweise verglichenen Urteile Prfer A mit Referenz



Dritter Schritt: Auf der Grundlage der beobachteten relativen Hufigkeiten in der Tabelle 11

berechnet man die erwarteten relativen Hufigkeiten. Die Berechnungsschritte mit Ergebnissen sind

in Tabelle 12 dargestellt:



150

100

150= 0.4533

102

150

50

150= 0.2267 0.68


150

100

150= 0.2133

48

150

50

150= 0.1067 0.32

Summe 0.6667 0.3333 1 Tabelle 12: Erwartete relative Hufigkeiten der paarweise verglichenen Urteile Prfer A mit Referenz

Vierter Schritt: Mit den Ergebnissen aus der Tabelle 11 im zweiten Schritt wird der beobachtet Anteil

gleicher Entscheidungen berechnet:

= 0.6467 + 0.3 = 0.9467

Formel 8: Beobachteter Anteil gleicher Urteile, berechnet fr den Vergleich Prfer A mit Referenz

Analog wird mit den Ergebnissen aus der Tabelle 12 im dritten Schritt der erwartete Anteil gleicher

Entscheidungen berechnet:

= 0.4533 + 0.1067 = 0.56

Formel 9: Erwarteter Anteil gleicher Urteile, berechnet fr den Vergleich Prfer A mit Referenz

Fnfter Schritt: Mit den Anteilswerten aus dem vierten Schritt wird der Kappa-Index nach Cohen

berechnet.

( ) = 1

=0.9467 0.56

1 0.56 0.879

Formel 10: Kappa-Index nach Cohen, berechnet fr den Vergleich Prfer A mit Referenz

Hinweis: Analog gem dem gezeigten Fnf-Schritte-Schema muss der Kappa-Index fr den Vergleich

Prfer B mit Referenz und Prfer C mit Referenz bestimmt werden.

Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohens Kappa - Prferurteil mit

Referenz Prferbereinstimmung aufgerufen werden. In der Abbildung 12 ist das Ergebnis fr das

Zahlenbeispiel mit Ergebnissen fr alle Prfer dargestellt.



Abbildung 12: Ergebnisse fr die Auswertung Prferurteil mit Referenz - Berechnungsmethode AIAG MSA Standard

Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohens Kappa - Prferurteil ohne

Referenz Prferbereinstimmung aufgerufen werden. In der Abbildung 13 ist das Ergebnis fr das

Zahlenbeispiel mit Ergebnissen fr alle Prfer dargestellt

Abbildung 13: Cohens Kappa - AIAG MSA Standard, Vergleich der Prfer ohne Referenzwerte-Vergleich



AIAG MSA Extended

Diese mit AIAG MSA Extended bezeichnete Berechnungsmethode integriert die Berechnung des

Kappa-Index nach Fleiss, um die Wiederholbarkeit (Vergleich der Urteile eines Prfers von einem

Durchlauf zum nchsten) berechnen zu knnen.

Abbildung 14: Einstellung in der Auswertestrategie - Berechnungsmethode AIAG MSA extended

Welche Ergebnisse werden dargestellt?

Bei einem Datensatz ohne Referenzurteile werden die folgenden Vergleiche durchgefhrt:

Vergleich der Prfer untereinander (Vergleichbarkeit)

Vergleich der Prfer mit sich selbst (Wiederholbarkeit)

Abbildung 15: Cohens Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte

Bei einem Datensatz mit Referenzurteilen werden folgende Vergleiche durchgefhrt:

Vergleich der Prfer (Wiederholbarkeit)

Paarweiser Vergleich der Prfer (Vergleichbarkeit der Prfer)

Vergleich der Prfer mit dem Standard (Vergleichbarkeit der Prfer mit dem Standard)



Abbildung 16: Cohens Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten

Datensatz ohne Referenzurteile

Liegt ein Datensatz ohne Referenzurteile vor und whlt man die Auswertung Cohens Kappa -

Prferurteil ohne Referenz Prferbereinstimmung, so erhlt man mehrere Ergebnisse:

1. Vergleich innerhalb eines jeden Prfer Vergleich der Durchlufe: Wiederholbarkeit.

2. Paarweiser Vergleich der Urteile zwischen den Prfern: Vergleichbarkeit.

Der Aufbau der Vergleiche ist weiter unten im Detail beschrieben.

Vergleich der Durchlufe der einzelnen Prfer mit sich selbst - Wiederholbarkeit

In der Tabelle 13 sind alle Kombinationen an Paarvergleichen aufgelistet, die insgesamt mit den

Beispieldaten durchgefhrt werden mssen:

A B C

A1 = A2; A1 = A3; A2 = A3 B1 = B2; B1 = B3; B2 = B3 C1 = C2; C1 = C3; C2 = C3 Tabelle 13: bersicht der Vergleiche innerhalb der Prfer

Im Beispiel ist die Zhlung exemplarisch fr den Prfer A ausfhrlich dargestellt und muss analog fr

die brigen Prfer ausgefhrt werden.

Erster Schritt: Auszhlen der Urteilspaare gem der ersten Spalte in der Tabelle 13. Das Ergebnis

dieser Zhlungen ist in der Tabelle 14 dargestellt.

A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe

Urteil A: Teil schlecht = 1 92 6 98

Urteil A: Teil gut = 0 10 42 52

Summe 102 48 150



Tabelle 14: Ergebnis der beobachteten Hufigkeiten fr den Prfer A

Zweiter Schritt: Mit den beobachteten Hufigkeiten aus der Tabelle 14 berechnet man die

beobachteten relativen Hufigkeiten. Der Rechengang und die Ergebnisse fr den Prfer A sind in der

Tabelle 15 enthalten.


Urteil A: Teil schlecht = 1 92

150= 0.6133

6

150= 0.04 0.6533

Urteil A: Teil gut = 0 10

150= 0.0667

42

150= 0.28 0.3467

Summe 0.68 0.32 1 Tabelle 15: Beobachtete relative Hufigkeiten fr den Prfer A

Dritter Schritt: Anhand der Ergebnissen aus der Tabelle 15 im zweiten Schritt berechnet man die

erwarteten relativen Hufigkeiten. Wieder sind die Berechnungsgrundlagen und Ergebnisse nur fr

den Prfer A in der Tabelle 16 dargestellt.


Urteil A: Teil schlecht = 1 102

150

102

150= 0.4443

102

150

52

150= 0.2091 0.6533

Urteil A: Teil gut = 0 48

150

102

150= 0.2357

48

150

52

150= 0.1109 0.3467

Summe 0.68 0.32 1 Tabelle 16: Erwartete relative Hufigkeiten fr den Prfer A

Vierter Schritt: Whlt man aus der Tabelle 15 die beobachteten relativen Hufigkeiten der

Hauptdiagonalen, so erhlt man den beobachteten Anteil gleicher Urteile:

= 0.6133 + 0.28 = 0.8933

Formel 11: Beobachteter Anteil gleicher Urteile, berechnet fr den Prfer A

Analog berechnet man mit den Hauptdiagonalelementen der Tabelle 16 den erwarteten relativen

Hufigkeiten bereinstimmender Urteile den erwarteten Anteil gleicher Urteile:

= 0.4443 + 0.1109 = 0.5552

Formel 12: Erwarteter Anteil gleicher Urteile, berechnet fr den Prfer A



Fnfter Schritt: Mit den beobachteten und erwarteten Anteilen gleicher Entscheidungen wird der

Kappa-Index berechnet:

() = 1

=0.8933 0.5552

1 0.5552 0.760

Formel 13: Kappa-Index nach Cohen fr den Prfer A

Im Zhler steht die Differenz zwischen dem beobachteten Anteil bereinstimmender Entscheidungen

und dem erwarteten Anteil rein zufllig bereinstimmender Entscheidungen. Somit reprsentiert der

Zhler den beobachteten Anteil bereinstimmender Entscheidungen, der ber den erwarteten Anteil

rein zufllig bereinstimmender Entscheidungen hinausgeht. Im Nenner steht der grtmgliche

Wert fr den Anteil der nicht zufllig bereinstimmenden Prferurteile.

Abbildung 17: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich

Hinweis: Analog nach diesem Fnf-Schritte-Schema sind die Kappa-Werte fr die Vergleiche der

Urteile innerhalb der Prfer B und C berechnet (die ersten drei Zeilen in der Abbildung 17).



Paarweise Vergleiche aller Prferurteile

Insgesamt mssen mit den Beispieldaten die in der Tabelle 17 dargestellten Paarvergleiche

ausgezhlt werden.

A mit B A1=B1; A1=B2; A1 = B3; A2=B1; A2 = B2; A2 = B3; A3 = B1; A3 = B2; A3 = B3

A mit C A1=C1; A1=C2; A1 = C3; A2=C1; A2 = C2; A2 = C3; A3 = C1; A3 = C2; A3 = C3

B mit C B1=C1; B1=C2; B1 = C3; B2=C1; B2 = C2; B2 = C3; B3 = C1; B3 = C2; B3 = C3 Tabelle 17: bersicht zu dem paarweisen Vergleich der Prferurteile

Exemplarisch wird hier wieder nur der Rechengang fr den Vergleich der Prfer A und B betrachtet.

Erster Schritt: Auszhlen der paarweisen Urteilskombinationen der Prfer A und B (gem der ersten

Zeile in der Tabelle 17). Das Ergebnis ist in der folgenden Tabelle 18 dargestellt:


Urteil B: Teil schlecht = 1 289 20 309

Urteil B: Teil gut = 0 11 130 141

Summe 300 150 450 Tabelle 18: Ergebnis der beobachteten Hufigkeiten des paarweisen Vergleiches der Prfer A und B

Zweiter Schritt: Berechnen der beobachteten relativen Hufigkeiten der Urteilskombinationen

anhand der Zhlergebnisse aus der Tabelle 18.



450= 0.6422

20

450= 0.0444 0.6867


450= 0.0244

130

450= 0.2889 0.3133

Summe 0.6667 0.3333 1 Tabelle 19: Ergebnis der beobachteten relativen Hufigkeiten des paarweisen Vergleiches der Prfer A und B

Dritter Schritt: Bestimmen der erwarteten relativen Hufigkeiten der Urteilskombinationen anhand

der Rechenergebnisse aus der Tabelle 18 :



450

309

450= 0.4578

150

450

309

450= 0.2289 0.6867


450

141

450= 0.2089

150

450

141

450= 0.1044 0.3133

Summe 0.6667 0.3333 1 Tabelle 20: Ergebnis der erwarteten relativen Hufigkeiten des paarweisen Vergches der Prfer A und B

Vierter Schritt: Mit den Hauptdiagonal-Elementen aus der Tabelle der beobachteten relativen

Hufigkeit berechnet man den Anteilswert Po = Anteil der beobachteten bereinstimmenden

Prferurteile

= 0.6422 + 0.2889 = 0.9311

Formel 14: Beobachtete Anteil gleicher Urteile



Analog berechnet man mit den Hauptdiagonal-Elementen der Tabelle der erwarteten relativen

Hufigkeiten den Anteilswert Pe = Anteil der erwarteten bereinstimmenden Prferurteile.

= 0.4578 + 0.1044 = 0.5622

Formel 15: Erwarteter Anteil gleicher Urteile

Fnfter Schritt: Der Wert fr Kappa wird mit diesen Anteilswerten wie folgt errechnet:

( ) = 1

=0.9311 0.5622

1 0.5622 0.843

Formel 16: Kappa-Index nach Cohen fr den Vergleich der Urteile der Prfer A und B

Im Zhler steht die Differenz zwischen dem beobachteten Anteil bereinstimmender Entscheidungen

und dem erwarteten Anteil rein zufllig bereinstimmender Entscheidungen. Somit reprsentiert der

Zhler den beobachteten Anteil bereinstimmender Entscheidungen, der ber den erwarteten Anteil

rein zufllig bereinstimmender Entscheidungen hinausgeht. Im Nenner steht der grtmgliche

Wert fr den Anteil der nicht zufllig bereinstimmenden Prferurteile.

Abbildung 18: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich



Datensatz mit Referenzurteilen

Liegt ein Datensatz mit Referenzbewertungen vor, so werden folgende Auswertungen durchgefhrt:

1. Vergleich der Durchlufe eines einzelnen Prfers: Wiederholbarkeit

2. Paarweise Vergleiche der Prfer ohne Referenz: Vergleichbarkeit

3. Prfer mit Referenz: Vergleichbarkeit jedes Prfers mit der Referenz

4. Alle Prfer mit Referenz: Vergleichbarkeit aller Prfer mit der Referenz

Die Berechnung der Flle 1 und 2 entspricht dem Vorgehen gem dem Abschnitt Datenstze ohne

Referenz (Kapitel AIAG MSA Extended). Daher wird auf eine wiederholte Darstellung des

Rechenganges hier verzichtet.

Im Folgenden angenommen, dass in der Auswertestrategie die Berechnungsmethode AIAG MSA

Extended eingestellt ist.

Tabelle 21: Darstellung der Einstellung AIAG MSA extended in der Auswertestrategie

Vergleich der Prferurteile mit der Referenzbewertung

Die bersicht, welche Paarvergleiche mit den Beispieldaten insgesamt durchgefhrt werden mssen,

ist in der Tabelle 22 dargestellt.

A mit Referenz B mit Referenz C mit Referenz

A1 = Ref.; A2 = Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 22: bersicht der Vergleiche Prfer mit Referenz

Erster Schritt: Bei jedem Prfdurchgang wurden 50 Prfentscheidungen getroffen. Damit sind fr

jeden Prfer 150 Paare von Prferurteilen auszuzhlen. Das Ergebnis dieser Zhlungen ist in den

folgenden Tabelle 23 fr den Vergleich der Urteile des Prfers A dargestellt.




Summe 100 50 150 Tabelle 23: Beobachtete Hufigkeit der Urteile, gezhlt fr den Vergleich Prfer A mit Referenz



Zweiter Schritt: Anhand der Zhlergebnisse in der Tabelle 23 berechnet man die beobachteten

relativen Hufigkeiten der Urteilskombinationen. In der Tabelle 24 sind diese fr den Vergleich der

Urteile des Prfers A mit der Referenzbeurteilung dargestellt.



150= 0.6467

5

150= 0.0333 0.68


150= 0.02

45

150= 0.3 0.32

Summe 0.6667 0.3333 1 Tabelle 24: Beobachtete relative Hufigkeit der Urteile, berechnet fr den Vergleich Prfer A mit Referenz

Dritter Schritt: Mit den Ergebnissen fr die beobachteten relativen Hufigkeiten berechnet man die

erwarteten relativen Hufigkeit. In der Tabelle 25 sind die erwarteten relativen Hufigkeiten fr den

Vergleich des Prfers A mit der Referenzbewertung dargestellt.



150

100

150= 0.4533

102

150

50

150= 0.2267 0.68


150

100

150= 0.2133

48

150

50

150= 0.1067 0.32

Summe 0.6667 0.3333 1 Tabelle 25: Erwartete relative Hufigkeit der Urteile, berechnet fr den Vergleich Prfer A mit Referenz

Vierter Schritt: Mit den beiden Hauptdiagonalelementen der beobachteten relativen Hufigkeit in

der Tabelle 24 berechnet man den Anteilswert Po = beobachteter Anteil bereinstimmender

Prferurteile.

= 0.6467 + 0.3 = 0.9467

Formel 17: Beobachteter Anteil bereinstimmender Entscheidungen, berechnet fr den Vergleich Prfer A mit Referenz

Analog wird mit den Hauptdiagonalelementen der erwarteten relativen Hufigkeit in Tabelle 25 der

Anteilswert Pe = erwarteter Anteil der bereinstimmender Prferurteile berechnet.

= 0.4533 + 0.1067 = 0.56

Formel 18: Erwarteter Anteil bereinstimmender Entscheidungen, berechnet fr den Vergleich Prfer A mit Referenz



Fnfter Schritt: Der Kappa-Index nach Cohen fr den Vergleich des Prfers A mit der Referenz wird

mit den Anteilswerten aus dem vierten Schritt berechnet.

() = 1

=0.9467 0.56

1 0.56 0.879

Formel 19: Kappa-Index nach Cohen, berechnet fr den Vergleich Prfer A mit Referenz

Hinweis: Analog gem dem Fnf-Schritt-Schema mssen die Indizes fr die Prfer A und B

berechnet werden.

Abbildung 19: Cohen's Kappa AIAG MSA Extended, mit Referenzwerte-Vergleich

Zu ergnzen ist noch, dass der Kappa-Wert fr alle Prfer der arithmetische Mittelwert der drei

einzelnen Kappa-Werte der Prfer A bis C ist.

Verfahren 7 - Q-DAS · Verfahren 7 Die Berechnungsoptionen für Cohens Kappa in den Q-DAS...

Documents

Transcript of Verfahren 7 - Q-DAS · Verfahren 7 Die Berechnungsoptionen für Cohens Kappa in den Q-DAS...