Verfahren 7 - q-das.de · Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts...

Verfahren 7 Die Berechnungsoptionen für Cohens Kappa

in den Q-DAS Software-Produkten

Verfahren 7: Berechnungsoptionen für Cohens Kappa 1/23

Version: A © 2015 Q-DAS GmbH & Co. KG, 69469 Weinheim Cohens_Kappa_solara.docx

Verfahren 7: Berechnungsoptionen für Cohens Kappa

Inhalt Verfahren 7: Berechnungsoptionen für Cohens Kappa ...................................................................... 1

Warum dieses Dokument? .............................................................................................................. 2

Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA ....................................................... 3

Beispieldaten ............................................................................................................................... 3

Standardberechnung ....................................................................................................................... 4

AIAG MSA Standard ......................................................................................................................... 7

Datensatz ohne Referenzurteile .................................................................................................. 9

Datensatz mit Referenzurteilen ................................................................................................ 12

AIAG MSA Extended ...................................................................................................................... 15

Datensatz ohne Referenzurteile ................................................................................................ 16

Datensatz mit Referenzurteilen ................................................................................................ 21



Warum dieses Dokument?

In den Programm solara.MP und destra können beim Verfahren 7 verschiedene

Berechnungsoptionen für den Kappa-Index nach Cohen eingestellt werden. Worin diese

Unterschiede bestehen, kann der Anwender nicht direkt ersehen. Hier wird dem Leser eine

Erläuterung geboten, welche Auswirkung das Einstellen einer bestimmten Berechnungsmethode auf

die angezeigten Ergebnisse hat.

Was mit dem Dokument nicht beabsichtigt ist Das Dokument stellt keine Einführung in die Bestimmung des Kappa-Index nach Cohen dar und es ist

auch kein Ersatz für eine Schulung zu diesem Thema. Vielmehr wird das Wissen hier schon

vorausgesetzt.

Auswertestrategie in solara.MP oder in destra, Modul Messsystemanalyse Wie aus der Abbildung 1 entnommen werden kann, sind drei Berechnungsoptionen für den Kappa-

Index nach Cohen in der Software verfügbar. Jede Berechnungsoption ist in einem eigenen Kapitel

beschrieben, wobei in allen Kapiteln das gleiche Zahlenbeispiel verwendet wurde.

Abbildung 1: Auswertestrategie zum Verfahren 7 - Berechnung Cohen's Kappa

Das verwendete Zahlenbeispiel stammt aus der AIAG-Richtlinie Measurement System Analysis

(4th Edition, Page 134). Aus Platzgründen ist der Rechengang für den Prüfer A jeweils ausführlich

dargestellt und derjenige für die weiteren Prüfer – da analog – stets nur angedeutet.



Aufbau des Beispieldatensatzes aus der AIAG-Richtlinie MSA

Drei Prüfer haben 50 Einheiten in drei Durchgängen geprüft. Dadurch sind 3 × 3 50 = 450

Prüfergebnisse entstanden. Zusätzlich wurde zu jedem Teil genau eine einzige Referenzbewertung

durchgeführt. Somit besteht der Datensatz aus 450 Prüferurteilen und weiteren 50 Referenzurteilen.

Beispieldaten

Abbildung 2: Beispieldaten aus der AIAG-Richtlinie Measurement System Analysis



Standardberechnung

Diese Einstellung ist nur geeignet, wenn in allen Fällen sicher ist, dass die auszuwertenden

Datensätze eine Referenzbewertung enthalten.

Abbildung 3: Berechnung Cohen's Kappa – Standardberechnung

Welche Ergebnisse werden berechnet?

Wird ein Datensatz mit Referenzbewertung verwendet und wählt man die Auswertung Cohen’s

Kappa – Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man das in der Fehler!

erweisquelle konnte nicht gefunden werden. dargestellte Ergebnis: den Vergleich der Prüferurteile

mit den Referenzurteilen, wie z.B. A mit Referenz, B mit Referenz, C mit Referenz und alle Prüfer mit

Referenz.

Abbildung 4: Ergebnisaufruf bei Einstellung Standardberechnung

Abbildung 5: Cohen’s Kappa - Vergleich der Prüferurteile mit der Referenz



Erster Schritt: Die beobachteten Urteilskombinationen der Prüfer werden ausgezählt. Das Ergebnis

dieser Zählung ist in der Tabelle 1 dargestellt. Dort bedeutet das Symbol A1, dass hier die Urteile des

Prüfers A aus dem ersten Durchgang betrachtet werden.

Hinweis: Analog müssen diese Zählungen für die weiteren Durchgänge 2 und 3 durchgeführt werden.

A1 mit Referenz Urteil A1: Teil schlecht = 1 Urteil A1: Teil gut = 0 Summe

Referenz: Teil schlecht = 1 34 0 34

Referenz: Teil gut = 0 0 16 16

Summe 34 16 50 Tabelle 1: Beobachtete Häufigkeiten der Urteile des Prüfers A

Zweiter Schritt: Man berechnet die beobachteten relativen Häufigkeiten der Prüferurteile aus den

Zählergebnissen im ersten Schritt. Das Vorgehen mit Ergebnisangabe st in der Tabelle 2 dargestellt.


Referenz: Teil schlecht = 1 34

50= 0.68

0

50= 0 0.68

Referenz: Teil gut = 0 0

50= 0

16

50= 0.32 0.32

Summe 0.68 0.32 1 Tabelle 2: Relative Beobachtungshäufigkeit der Urteile des Prüfers A

Dritter Schritt: Man berechnet die erwarteten relativen Häufigkeiten, wieder auf der Grundlage der

Zählungen im Schritt 1. Das Rechenschema mit Ergebnis ist in der Tabelle 3 dargestellt.



50×

34

50= 0.4624

16

50×

34

50= 0.2176 0.68


50×

16

50= 0.2176

16

50×

16

50= 0.1024 0.32

Summe 0.68 0.32 1 Tabelle 3: Erwartete relative Häufigkeiten der Urteile des Prüfers A

Vierter Schritt: Es wird der Anteilswert Po = beobachteter Anteil übereinstimmender Prüferurteile

und der Anteilswert Pe = Erwarteter Anteil übereinstimmender Prüferurteile berechnet. Dazu

werden die Inhalte (Anteilswerte) der Hauptdiagonalzellen in Tabelle 2 bzw. Tabelle 3, addiert.

Beobachteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 2):

𝑃𝑜 = 0.68 + 0.32 = 1.0

Formel 1: Beobachteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz



Erwarteter Anteil übereinstimmender Prüferentscheidungen (aus Tabelle 3):

𝑃𝑒 = 0.4624 + 0.1024 = 0.5648

Formel 2: Erwarteter Anteil gleicher Urteile, berechnet für den ersten Durchlauf Prüfer A mit Referenz

Fünfter Schritt: Es wird der Kappa-Index nach Cohen anhand der im Schritt vier ermittelten

Anteilswerte berechnet. Für das Beispiel - Vergleich der Prüferurteile von Prüfer A im ersten

Prüfdurchgang mit der Referenzbewertung – ist das Ergebnis dargestellt:

𝜅𝐴1𝑅 =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

1 − 0.5648

1 − 0.5648= 1.0

Formel 3: Kappa-Index nach Cohen, berechnet für den ersten Durchlauf Prüfer A mit Referenz

Für den zweiten Prüfdurchgang des Prüfers A erhält man analog nach dem oben angegebenen Fünf-

Schritt-Schema den Kappa-Werte 𝜿𝑨𝟐𝑹 = 0.9081 und für den dritten Durchgang den Wert

𝜿𝑨𝟑𝑹 = 0,7331. Der Kappa-Index für den Prüfer A ist der Mittelwert aus den drei Kappa-Werten, die

man für die drei Durchgänge des Prüfers A zuvor berechnet hat:

𝜅𝐴 =𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅

3=

1.0 + 0.9081 + 0.7331

3= 0.880

Formel 4: Kappa-Index nach Cohen, berechnet als Mittelwert

Hinweis: Um alle Ergebnisse für das Zahlenbeispiel zu erhalten, muss das Fünf-Schritte-Schema – wie

es am Beispiel des Prüfers A beschrieben wurde – auch für die Prüfer B und C ausgeführt werden.

In der Tabelle 4 ist das Rechenschema zur Bestimmung der Kappa-Werte dargestellt.

𝜅𝑎𝑙𝑙 =𝜅𝐴 + 𝜅𝐵 + 𝜅𝐶

3

𝜅𝐴 =𝜅𝐴1𝑅 + 𝜅𝐴2𝑅 + 𝜅𝐴3𝑅

3 𝜅𝐵 =

𝜅𝐵1𝑅 + 𝜅𝐵2𝑅 + 𝜅𝐵3𝑅

3 𝜅𝐶 =

𝜅𝐶1𝑅 + 𝜅𝐶2𝑅 + 𝜅𝐶3𝑅

3

𝜅𝐴1𝑅 𝜅𝐴2𝑅 𝜅𝐴3𝑅 𝜅𝐵1𝑅 𝜅𝐵2𝑅 𝜅𝐵3𝑅 𝜅𝐶1𝑅 𝜅𝐶2𝑅 𝜅𝐶3𝑅 Tabelle 4: Übersicht zur Bildung der Kappa-Werte, Einstellung Standardberechnung



AIAG MSA Standard

Bei dieser Einstellung wird das Rechenschema aus der AIAG-Richtlinie Measurement System Analysis

(4th Edition) verwendet. Wer die Ergebnisse genauso wie in der Richtlinie dargestellt erhalten

möchte, sollte diese Einstellung in der Software wählen.

Abbildung 6: Berechnung Cohen's Kappa - AIAG MSA Standard

Welche Ergebnisse werden berechnet?

Wird ein Datensatz ohne Referenzwerte geladen, so werden die paarweisen Vergleicher der Prüfer

untereinander bestimmt.

Paarweiser Vergleich der Prüfer im Beispiel: A mit B, A mit C und B mit C.

Abbildung 7: Aufruf der Ergebnisse im "Assistenten"

Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte



Bei einem Datensatz mit Referenzwerten werden folgende Ergebnisse ausgegeben:

Paarweise Vergleicher der Prüfer untereinander

Paarweise Vergleiche der Prüfer mit den Referenzwerten

Exemplarisch für die Daten des Beispiels erhält man die folgenden Vergleiche:

Abbildung 9: Aufruf der Ergebnisse im "Assistenten"

Abbildung 10: Cohen’s Kappa - AIAG MSA Standard – links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten



Datensatz ohne Referenzurteile

Betrachtet wird das Auswerten gemäß der Auswahl Cohen’s Kappa - Prüferurteil ohne Referenz –

Prüferübereinstimmung.

Paarweise Vergleiche der Prüferurteile

Für die Auswertung werden Urteilspaare gebildet. Die Tabelle 5 zeigt, welche Paarungen im

Beispieldatensatz miteinander verglichen werden müssen. Dabei ist die symbolische Schreibweise –

bestehend aus Buchstabe und Zahl – wie folgt zu deuten: A1 = Prüfer A im ersten Durchgang, A2 =

Prüfer A im zweiten Durchgang, usw.

A mit B A mit C B mit C

A1 = B1; A2 = B2; A3 = B3 A1 = C1; A2 = C2; A3 = C3 B1 = C1; B2 = C2; B3 = C3 Tabelle 5: Übersicht der paarweisen Urteilsvergleiche

Erster Schritt: Bei jedem Durchgang trifft ein Prüfer 50 Prüfentscheidungen. Somit sind für den

paarweisen Vergleich der Urteile der beiden Prüfer A und B insgesamt 150 Urteilspaare auszuzählen:

50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten Durchgang und schließlich 50

Urteilspaare im dritten Durchgang. Das Ergebnis dieser Zählungen ist in der Tabelle 6 dargestellt.

A mit B Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe

Urteil B: Teil schlecht = 1 97 6 103

Urteil B: Teil gut = 0 3 44 47

Summe 100 50 150 Tabelle 6: Beobachtete Häufigkeiten der paarweise miteinander verglichenen Urteile der Prüfer A und B

Vierter Schritt: Aus den Ergebnissen der beobachteten Häufigkeiten werden die relativen

Häufigkeiten berechnet.


Urteil B: Teil schlecht = 1 97

150= 0.6467

6

150= 0.04 0.6867

Urteil B: Teil gut = 0 3

150= 0.02

44

150= 0.2933 0.3133

Summe 0.6667 0.3333 1 Tabelle 7: Beobachtete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B



Dritter Schritt: Nun werden die erwarteten relativen Häufigkeiten der paarweisen Urteile berechnet:



150×

100

150= 0.4578

103

150×

50

150= 0.2289 0.6867


150×

100

150= 0.2089

47

150×

50

150= 0.1044 0.3133

Summe 0.6667 0.3333 1 Tabelle 8: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile der Prüfer A und B

Vierter Schritt: Mit den Ergebnissen in den Hauptdiagonal-Zellen der Tabelle 7 berechnet man den

beobachteten Anteil übereinstimmender Prüferurteile:

𝑃𝑜 = 0.6467 + 0.2933 = 0.94

Formel 5: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B

Mit den Ergebnissen in den Hauptdiagonal-Zellen in der Tabelle 8 berechnet man den erwarteten

Anteil übereinstimmender Prüferurteile:

𝑃𝑒 = 0.4578 + 0.1044 = 0.5622

Formel 6: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich der Prüfer A und B

Fünfter Schritt: Nun wird mit den im Schritt 4 berechneten Anteilswerten der Kappa-Index nach

Cohen berechnet.

𝜅𝑐(𝐴 × 𝐵) =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

0.94 − 0.5622

1 − 0.5622= 0.8629

Formel 7: Kappa-Index nach Cohen, berechnet für den Vergleich der Prüfer A und B

Hinweis: Analog werden die Kappa-Werte für den paarweisen Vergleich A mit C und B mit C

berechnet.

Zur Erinnerung: Im Programm erhält man das Ergebnis, wenn man Cohen’s Kappa - Prüferurteil ohne

Referenz – Prüferübereinstimmung auswählt.



Abbildung 11: Cohen's Kappa - MSA AIAG Standard – ohne Referenzwerte-Vergleich



Datensatz mit Referenzurteilen

Wählt man Cohen’s Kappa - Prüferurteil mit Referenz – Prüferübereinstimmung, so erhält man die

Ergebnisse für den Vergleich der Urteile von jeweils einem Prüfer mit den Referenzurteilen.

Übersicht der paarweisen Vergleiche (Prüferurteile mit Referenzbewertung)

In der Tabelle 9 ist dargestellt, welche Urteilspaare gebildet werden müssen. Wieder ist die

symbolische Schreibweise – Buchstabe und Zahlenwert – wie folgt zu deuten: A1 = Prüfer A im ersten

Durchgang, A2 = Prüfer A im zweiten Durchgang, usw.

A mit Referenz B mit Referenz C mit Referenz

A1 = Ref.; A2=Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 9: Übersicht aller paarweise zu vergleichender Urteile - Prüfer mit Referenz

Erster Schritt: In jedem Durchgang sind 50 Prüferurteile mit 50 Referenzbewertungen zu

vergleichen. Somit sind insgesamt 50 Urteilspaare im ersten Durchgang, 50 Urteilspaare im zweiten

Durchgang und schließlich 50 Urteilspaare im dritten Durchgang auszuzählen. Das Ergebnis dieser

Zählungen ist in der Tabelle 10 dargestellt.

A mit Referenz Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe



Summe 100 50 150 Tabelle 10: Beobachtete Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz

Zweiter Schritt: Mit den Zählergebnissen aus der Tabelle 10 berechnet man die beobachteten

relativen Häufigkeiten der paarweisen Urteilsvergleiche Prüfer mit Referenz. Das Ergebnis ist in der

Tabelle 11 dargestellt.



150= 0.6467

5

150= 0.0333 0.68


150= 0.02

45

150= 0.3 0.32

Summe 0.6667 0.3333 1 Tabelle 11: Beobachtete relative Häufigkeit der paarweise verglichenen Urteile Prüfer A mit Referenz



Dritter Schritt: Auf der Grundlage der beobachteten relativen Häufigkeiten in der Tabelle 11

berechnet man die erwarteten relativen Häufigkeiten. Die Berechnungsschritte mit Ergebnissen sind

in Tabelle 12 dargestellt:



150×

100

150= 0.4533

102

150×

50

150= 0.2267 0.68


150×

100

150= 0.2133

48

150×

50

150= 0.1067 0.32

Summe 0.6667 0.3333 1 Tabelle 12: Erwartete relative Häufigkeiten der paarweise verglichenen Urteile Prüfer A mit Referenz

Vierter Schritt: Mit den Ergebnissen aus der Tabelle 11 im zweiten Schritt wird der beobachtet Anteil

gleicher Entscheidungen berechnet:

𝑃𝑜 = 0.6467 + 0.3 = 0.9467

Formel 8: Beobachteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz

Analog wird mit den Ergebnissen aus der Tabelle 12 im dritten Schritt der erwartete Anteil gleicher

Entscheidungen berechnet:

𝑃𝑒 = 0.4533 + 0.1067 = 0.56

Formel 9: Erwarteter Anteil gleicher Urteile, berechnet für den Vergleich Prüfer A mit Referenz

Fünfter Schritt: Mit den Anteilswerten aus dem vierten Schritt wird der Kappa-Index nach Cohen

berechnet.

𝜅𝑐(𝐴 × 𝑅𝑒𝑓) =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

0.9467 − 0.56

1 − 0.56≈ 0.879

Formel 10: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz

Hinweis: Analog gemäß dem gezeigten Fünf-Schritte-Schema muss der Kappa-Index für den Vergleich

Prüfer B mit Referenz und Prüfer C mit Referenz bestimmt werden.

Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil mit

Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 12 ist das Ergebnis für das

Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt.



Abbildung 12: Ergebnisse für die Auswertung Prüferurteil mit Referenz - Berechnungsmethode AIAG MSA Standard

Zur Erinnerung: Im Programm muss das Ergebnis mit dem Befehl Cohen’s Kappa - Prüferurteil ohne

Referenz – Prüferübereinstimmung aufgerufen werden. In der Abbildung 13 ist das Ergebnis für das

Zahlenbeispiel mit Ergebnissen für alle Prüfer dargestellt

Abbildung 13: Cohen’s Kappa - AIAG MSA Standard, Vergleich der Prüfer ohne Referenzwerte-Vergleich



AIAG MSA Extended

Diese mit AIAG MSA Extended bezeichnete Berechnungsmethode integriert die Berechnung des

Kappa-Index nach Fleiss, um die Wiederholbarkeit (Vergleich der Urteile eines Prüfers von einem

Durchlauf zum nächsten) berechnen zu können.

Abbildung 14: Einstellung in der Auswertestrategie - Berechnungsmethode AIAG MSA extended

Welche Ergebnisse werden dargestellt?

Bei einem Datensatz ohne Referenzurteile werden die folgenden Vergleiche durchgeführt:

Vergleich der Prüfer untereinander (Vergleichbarkeit)

Vergleich der Prüfer mit sich selbst (Wiederholbarkeit)

Abbildung 15: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes ohne Referenzwerte

Bei einem Datensatz mit Referenzurteilen werden folgende Vergleiche durchgeführt:

Vergleich der Prüfer (Wiederholbarkeit)

Paarweiser Vergleich der Prüfer (Vergleichbarkeit der Prüfer)

Vergleich der Prüfer mit dem Standard (Vergleichbarkeit der Prüfer mit dem Standard)



Abbildung 16: Cohen’s Kappa - AIAG MSA extended, links ohne und rechts mit Referenzwerte-Vergleich unter Verwendung eines Datensatzes mit Referenzwerten

Datensatz ohne Referenzurteile

Liegt ein Datensatz ohne Referenzurteile vor und wählt man die Auswertung Cohen’s Kappa -

Prüferurteil ohne Referenz – Prüferübereinstimmung, so erhält man mehrere Ergebnisse:

1. Vergleich innerhalb eines jeden Prüfer – Vergleich der Durchläufe: Wiederholbarkeit.

2. Paarweiser Vergleich der Urteile zwischen den Prüfern: Vergleichbarkeit.

Der Aufbau der Vergleiche ist weiter unten im Detail beschrieben.

Vergleich der Durchläufe der einzelnen Prüfer mit sich selbst - Wiederholbarkeit

In der Tabelle 13 sind alle Kombinationen an Paarvergleichen aufgelistet, die insgesamt mit den

Beispieldaten durchgeführt werden müssen:

A B C

A1 = A2; A1 = A3; A2 = A3 B1 = B2; B1 = B3; B2 = B3 C1 = C2; C1 = C3; C2 = C3 Tabelle 13: Übersicht der Vergleiche innerhalb der Prüfer

Im Beispiel ist die Zählung exemplarisch für den Prüfer A ausführlich dargestellt und muss analog für

die übrigen Prüfer ausgeführt werden.

Erster Schritt: Auszählen der Urteilspaare gemäß der ersten Spalte in der Tabelle 13. Das Ergebnis

dieser Zählungen ist in der Tabelle 14 dargestellt.

A Urteil A: Teil schlecht = 1 Urteil A: Teil gut = 0 Summe

Urteil A: Teil schlecht = 1 92 6 98

Urteil A: Teil gut = 0 10 42 52

Summe 102 48 150



Tabelle 14: Ergebnis der beobachteten Häufigkeiten für den Prüfer A

Zweiter Schritt: Mit den beobachteten Häufigkeiten aus der Tabelle 14 berechnet man die

beobachteten relativen Häufigkeiten. Der Rechengang und die Ergebnisse für den Prüfer A sind in der

Tabelle 15 enthalten.


Urteil A: Teil schlecht = 1 92

150= 0.6133

6

150= 0.04 0.6533

Urteil A: Teil gut = 0 10

150= 0.0667

42

150= 0.28 0.3467

Summe 0.68 0.32 1 Tabelle 15: Beobachtete relative Häufigkeiten für den Prüfer A

Dritter Schritt: Anhand der Ergebnissen aus der Tabelle 15 im zweiten Schritt berechnet man die

erwarteten relativen Häufigkeiten. Wieder sind die Berechnungsgrundlagen und Ergebnisse nur für

den Prüfer A in der Tabelle 16 dargestellt.


Urteil A: Teil schlecht = 1 102

150×

102

150= 0.4443

102

150×

52

150= 0.2091 0.6533

Urteil A: Teil gut = 0 48

150×

102

150= 0.2357

48

150×

52

150= 0.1109 0.3467

Summe 0.68 0.32 1 Tabelle 16: Erwartete relative Häufigkeiten für den Prüfer A

Vierter Schritt: Wählt man aus der Tabelle 15 die beobachteten relativen Häufigkeiten der

Hauptdiagonalen, so erhält man den beobachteten Anteil gleicher Urteile:

𝑃𝑜 = 0.6133 + 0.28 = 0.8933

Formel 11: Beobachteter Anteil gleicher Urteile, berechnet für den Prüfer A

Analog berechnet man mit den Hauptdiagonalelementen der Tabelle 16 – den erwarteten relativen

Häufigkeiten übereinstimmender Urteile – den erwarteten Anteil gleicher Urteile:

𝑃𝑒 = 0.4443 + 0.1109 = 0.5552

Formel 12: Erwarteter Anteil gleicher Urteile, berechnet für den Prüfer A



Fünfter Schritt: Mit den beobachteten und erwarteten Anteilen gleicher Entscheidungen wird der

Kappa-Index berechnet:

𝜅𝑐(𝐴) =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

0.8933 − 0.5552

1 − 0.5552≈ 0.760

Formel 13: Kappa-Index nach Cohen für den Prüfer A

Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen

und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der

Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil

rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche

Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.

Abbildung 17: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich

Hinweis: Analog nach diesem Fünf-Schritte-Schema sind die Kappa-Werte für die Vergleiche der

Urteile innerhalb der Prüfer B und C berechnet (die ersten drei Zeilen in der Abbildung 17).



Paarweise Vergleiche aller Prüferurteile

Insgesamt müssen mit den Beispieldaten die in der Tabelle 17 dargestellten Paarvergleiche

ausgezählt werden.

A mit B A1=B1; A1=B2; A1 = B3; A2=B1; A2 = B2; A2 = B3; A3 = B1; A3 = B2; A3 = B3

A mit C A1=C1; A1=C2; A1 = C3; A2=C1; A2 = C2; A2 = C3; A3 = C1; A3 = C2; A3 = C3

B mit C B1=C1; B1=C2; B1 = C3; B2=C1; B2 = C2; B2 = C3; B3 = C1; B3 = C2; B3 = C3 Tabelle 17: Übersicht zu dem paarweisen Vergleich der Prüferurteile

Exemplarisch wird hier wieder nur der Rechengang für den Vergleich der Prüfer A und B betrachtet.

Erster Schritt: Auszählen der paarweisen Urteilskombinationen der Prüfer A und B (gemäß der ersten

Zeile in der Tabelle 17). Das Ergebnis ist in der folgenden Tabelle 18 dargestellt:


Urteil B: Teil schlecht = 1 289 20 309

Urteil B: Teil gut = 0 11 130 141

Summe 300 150 450 Tabelle 18: Ergebnis der beobachteten Häufigkeiten des paarweisen Vergleiches der Prüfer A und B

Zweiter Schritt: Berechnen der beobachteten relativen Häufigkeiten der Urteilskombinationen

anhand der Zählergebnisse aus der Tabelle 18.



450= 0.6422

20

450= 0.0444 0.6867


450= 0.0244

130

450= 0.2889 0.3133

Summe 0.6667 0.3333 1 Tabelle 19: Ergebnis der beobachteten relativen Häufigkeiten des paarweisen Vergleiches der Prüfer A und B

Dritter Schritt: Bestimmen der erwarteten relativen Häufigkeiten der Urteilskombinationen anhand

der Rechenergebnisse aus der Tabelle 18 :



450×

309

450= 0.4578

150

450×

309

450= 0.2289 0.6867


450×

141

450= 0.2089

150

450×

141

450= 0.1044 0.3133

Summe 0.6667 0.3333 1 Tabelle 20: Ergebnis der erwarteten relativen Häufigkeiten des paarweisen Vergches der Prüfer A und B

Vierter Schritt: Mit den Hauptdiagonal-Elementen aus der Tabelle der beobachteten relativen

Häufigkeit berechnet man den Anteilswert Po = Anteil der beobachteten übereinstimmenden

Prüferurteile

𝑃𝑜 = 0.6422 + 0.2889 = 0.9311

Formel 14: Beobachtete Anteil gleicher Urteile



Analog berechnet man mit den Hauptdiagonal-Elementen der Tabelle der erwarteten relativen

Häufigkeiten den Anteilswert Pe = Anteil der erwarteten übereinstimmenden Prüferurteile.

𝑃𝑒 = 0.4578 + 0.1044 = 0.5622

Formel 15: Erwarteter Anteil gleicher Urteile

Fünfter Schritt: Der Wert für Kappa wird mit diesen Anteilswerten wie folgt errechnet:

𝜅𝑐(𝐴 × 𝐵) =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

0.9311 − 0.5622

1 − 0.5622≈ 0.843

Formel 16: Kappa-Index nach Cohen für den Vergleich der Urteile der Prüfer A und B

Im Zähler steht die Differenz zwischen dem beobachteten Anteil übereinstimmender Entscheidungen

und dem erwarteten Anteil rein zufällig übereinstimmender Entscheidungen. Somit repräsentiert der

Zähler den beobachteten Anteil übereinstimmender Entscheidungen, der über den erwarteten Anteil

rein zufällig übereinstimmender Entscheidungen hinausgeht. Im Nenner steht der größtmögliche

Wert für den Anteil der nicht zufällig übereinstimmenden Prüferurteile.

Abbildung 18: Cohen's Kappa - AIAG MSA Extended, ohne Referenzwerte-Vergleich



Datensatz mit Referenzurteilen

Liegt ein Datensatz mit Referenzbewertungen vor, so werden folgende Auswertungen durchgeführt:

1. Vergleich der Durchläufe eines einzelnen Prüfers: Wiederholbarkeit

2. Paarweise Vergleiche der Prüfer ohne Referenz: Vergleichbarkeit

3. Prüfer mit Referenz: Vergleichbarkeit jedes Prüfers mit der Referenz

4. Alle Prüfer mit Referenz: Vergleichbarkeit aller Prüfer mit der Referenz

Die Berechnung der Fälle 1 und 2 entspricht dem Vorgehen gemäß dem Abschnitt „Datensätze ohne

Referenz“ (Kapitel AIAG MSA Extended). Daher wird auf eine wiederholte Darstellung des

Rechenganges hier verzichtet.

Im Folgenden angenommen, dass in der Auswertestrategie die Berechnungsmethode AIAG MSA

Extended eingestellt ist.

Tabelle 21: Darstellung der Einstellung „AIAG MSA extended“ in der Auswertestrategie

Vergleich der Prüferurteile mit der Referenzbewertung

Die Übersicht, welche Paarvergleiche mit den Beispieldaten insgesamt durchgeführt werden müssen,

ist in der Tabelle 22 dargestellt.

A mit Referenz B mit Referenz C mit Referenz

A1 = Ref.; A2 = Ref.; A3 = Ref. B1 = Ref.; B2 = Ref.; B3 = Ref. C1 = Ref.; C2 = Ref.; C3 = Ref. Tabelle 22: Übersicht der Vergleiche Prüfer mit Referenz

Erster Schritt: Bei jedem Prüfdurchgang wurden 50 Prüfentscheidungen getroffen. Damit sind für

jeden Prüfer 150 Paare von Prüferurteilen auszuzählen. Das Ergebnis dieser Zählungen ist in den

folgenden Tabelle 23 für den Vergleich der Urteile des Prüfers A dargestellt.




Summe 100 50 150 Tabelle 23: Beobachtete Häufigkeit der Urteile, gezählt für den Vergleich Prüfer A mit Referenz



Zweiter Schritt: Anhand der Zählergebnisse in der Tabelle 23 berechnet man die beobachteten

relativen Häufigkeiten der Urteilskombinationen. In der Tabelle 24 sind diese für den Vergleich der

Urteile des Prüfers A mit der Referenzbeurteilung dargestellt.



150= 0.6467

5

150= 0.0333 0.68


150= 0.02

45

150= 0.3 0.32

Summe 0.6667 0.3333 1 Tabelle 24: Beobachtete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz

Dritter Schritt: Mit den Ergebnissen für die beobachteten relativen Häufigkeiten berechnet man die

erwarteten relativen Häufigkeit. In der Tabelle 25 sind die erwarteten relativen Häufigkeiten für den

Vergleich des Prüfers A mit der Referenzbewertung dargestellt.



150×

100

150= 0.4533

102

150×

50

150= 0.2267 0.68


150×

100

150= 0.2133

48

150×

50

150= 0.1067 0.32

Summe 0.6667 0.3333 1 Tabelle 25: Erwartete relative Häufigkeit der Urteile, berechnet für den Vergleich Prüfer A mit Referenz

Vierter Schritt: Mit den beiden Hauptdiagonalelementen der beobachteten relativen Häufigkeit in

der Tabelle 24 berechnet man den Anteilswert Po = beobachteter Anteil übereinstimmender

Prüferurteile.

𝑃𝑜 = 0.6467 + 0.3 = 0.9467

Formel 17: Beobachteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz

Analog wird mit den Hauptdiagonalelementen der erwarteten relativen Häufigkeit in Tabelle 25 der

Anteilswert Pe = erwarteter Anteil der übereinstimmender Prüferurteile berechnet.

𝑃𝑒 = 0.4533 + 0.1067 = 0.56

Formel 18: Erwarteter Anteil übereinstimmender Entscheidungen, berechnet für den Vergleich Prüfer A mit Referenz



Fünfter Schritt: Der Kappa-Index nach Cohen für den Vergleich des Prüfers A mit der Referenz wird

mit den Anteilswerten aus dem vierten Schritt berechnet.

𝜅𝑐(𝐴) =𝑃𝑜 − 𝑃𝑒

1 − 𝑃𝑒=

0.9467 − 0.56

1 − 0.56≈ 0.879

Formel 19: Kappa-Index nach Cohen, berechnet für den Vergleich Prüfer A mit Referenz

Hinweis: Analog gemäß dem Fünf-Schritt-Schema müssen die Indizes für die Prüfer A und B

berechnet werden.

Abbildung 19: Cohen's Kappa – AIAG MSA Extended, mit Referenzwerte-Vergleich

Zu ergänzen ist noch, dass der Kappa-Wert für alle Prüfer der arithmetische Mittelwert der drei

einzelnen Kappa-Werte der Prüfer A bis C ist.

Verfahren 7 - q-das.de · Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts...

Documents

Transcript of Verfahren 7 - q-das.de · Abbildung 8: Cohen’s Kappa - AIAG MSA Standard, links ohne und rechts...