DER KAPPA-KOEFFIZIENT: DISKUSSION EINES … · Der Kappa-Koeffizient von Cohen (1960): Berechnung...
27
DER KAPPA-KOEFFIZIENT: DER KAPPA-KOEFFIZIENT: DER KAPPA-KOEFFIZIENT: DER KAPPA-KOEFFIZIENT: DISKUSSION EINES MISSVERSTÄNDNISSES DISKUSSION EINES MISSVERSTÄNDNISSES DISKUSSION EINES MISSVERSTÄNDNISSES DISKUSSION EINES MISSVERSTÄNDNISSES UND EIN UND EIN UND EIN UND EIN MODIFIZIERUNGSVORSCHLAG MODIFIZIERUNGSVORSCHLAG MODIFIZIERUNGSVORSCHLAG MODIFIZIERUNGSVORSCHLAG Marcus Kutschmann Institut für Rehabilitationsforschung Norderney Gerd Rippin Omnicare Clinical Research GmbH Köln
Transcript of DER KAPPA-KOEFFIZIENT: DISKUSSION EINES … · Der Kappa-Koeffizient von Cohen (1960): Berechnung...
DER KAPPA-KOEFFIZIENT:DER KAPPA-KOEFFIZIENT:DER KAPPA-KOEFFIZIENT:DER KAPPA-KOEFFIZIENT:DISKUSSION EINES MISSVERSTÄNDNISSESDISKUSSION EINES MISSVERSTÄNDNISSESDISKUSSION EINES MISSVERSTÄNDNISSESDISKUSSION EINES MISSVERSTÄNDNISSES
UND EINUND EINUND EINUND EINMODIFIZIERUNGSVORSCHLAGMODIFIZIERUNGSVORSCHLAGMODIFIZIERUNGSVORSCHLAGMODIFIZIERUNGSVORSCHLAG
Marcus KutschmannInstitut für Rehabilitationsforschung
Norderney
Gerd RippinOmnicare Clinical Research GmbH
Köln
Vortragsinhalt:
• Was wird mit Kappa berechnet?
• Wie wird Kappa berechnet?
• Welche Probleme gibt es bei der Anwendung?
• Warum werden diese Probleme als solche empfunden? („Missverständnis“)
• Wie lassen sich diese Probleme lösen? („Modifizierungsvorschlag“)
• Welche Vorteile hat der Modifizierungsvorschlag“?
• Welche Schlussfolgerungen ergeben sich?
Der Kappa-Koeffizient von Cohen (1960):
Berechnung der zufallskorrigierten Übereinstimmungzweier Gutachter, die eine bestimmte Anzahl vonObjekten/Subjekten mit Hilfe eines vorgegebenenKategoriensystems klassifizieren.
„It is now fairly well disseminated as one of thestandard summary statistics used in the medicalliterature.“ (Guggenmoos-Holzmann, 1993)
Was wird mit Kappa berechnet?
Zuordnung von neun Patienten zu einer der dreiKategorien Schizophren (S), Neurotisch (N) undHirngeschädigt (H) durch zwei Psychiater:
SNHNSHNSSBRater
HNHHSNNSHARater
987654321
Patienten
Wie wird Kappa berechnet?
Beispiel zur Berechnung von Kappa:
..3.2.1.
.3333231
.2232221
.1131211
pppp
ppppH
ppppN
ppppS
HNS
31,0
56,0
3..32..21..1
332211
=++==++=
ppppppE
pppB36,0
1 =
−−=⇒
E
EBκ
1
0
00
92
93
94
94
91
91
92
93
91
92
92
92
H
N
S
HNS
Wie wird Kappa berechnet?
Beispiel (Fortsetzung):
„Chance-corrected measures of agreementare prone to exhibit paradoxical and
counter-intuitive results when used asmeasures of reliability.“
(Guggenmoos-Holzmann, 1993)
Welche Probleme gibt es bei der Anwendung?
10
00
0000
0
96
93
93
93
96
93
93
10
00
0000
00
96
93
96
96
93
93
1
00
0000
0
95
91
93
91
91
98
95
93
1
00
00
00
94
92
93
92
92
94
94
93
93
10
0000
0000
10
96
93
96
93
10
00
0000
0
95
94
91
91
98
95
93
1
00
00
91
92
96
91
91
92
92
96
91
92
93
10
00
0000
0
93
96
93
93
96
93
93
25,0=κ 14,0=κ 04,0=κ 00,0=κ
04,0−=κ 23,0−=κ 35,0−=κ 50,0−=κ
Gleiches B, unterschiedliches Kappa:
Welche Probleme gibt es bei der Anwendung?
Unterschiedliches B, gleiches Kappa:
10
0000
0000
10
91
98
91
98
10
0000
0000
10
92
97
92
97
10
0000
0000
10
93
96
93
96
10
0000
0000
10
94
95
94
95
10
0000
0000
10
95
94
95
94
0=κ 0=κ 0=κ 0=κ
0=κ 0=κ 0=κ 0=κ10
0000
0000
10
98
91
98
91
10
0000
0000
10
97
92
97
92
10
0000
0000
10
96
93
96
93
Welche Probleme gibt es bei der Anwendung?
1. Kappa-Paradoxon: grosses B, kleines Kappa
„If E is large, the correction process can convert a relatively highvalue of K[appa] ... Thus, with different values of E the K[appa] foridentical values of B can be more than twofold higher in oneinstance than the other.“ (Feinstein & Cicchetti, 1990)
33,0
67,0
==
E
B
51,0=⇒ κ 1
0
00
93
93
93
93
92
91
94
91
92
91
92
92
kleines E:
55,0
67,0
==
E
B
27,0=⇒ κ 1
00
0
00
91
91
97
91
91
92
91
91
96
96
grosses E:
Welche Probleme gibt es bei der Anwendung?
2. Kappa-Paradoxon: Randverteilungen
„Unbalanced marginal totals produce higher values of Kappa thanmore balanced totals.“ (Feinstein & Cicchetti, 1990)
Welche Probleme gibt es bei der Anwendung?
23,0
33,0
==
E
B
13,0 =⇒ κ1
00
0
95
93
91
91
91
93
92
91
95
92
92
91
unbalancierte Rangverteilungen:
43,0
33,0
==
E
B
18,0 −=⇒ κ1
00
0
91
93
95
91
91
93
91
92
95
91
92
92
balancierte Rangverteilungen:
3. Kappa-Paradoxon: B=0, trotzdem Zufallskorrektur
1010
00
0000
00
91
91
98
98
10
0
00
0000
92
97
97
92
95
92
92
10
0
00
0000
95
94
97
95
92
92
92
10
0
00
0000
96
93
97
96
91
92
92
1
0
00
00
91
92
96
96
92
94
92
92
91
91
1
0
0
0
93
93
93
93
92
91
93
91
92
93
92
91
1
0
00
00
94
92
93
93
92
91
92
92
94
94
10
00
0000
00
94
95
95
95
94
94
0=κ 04,0−=κ 14,0−=κ 17,0−=κ
25,0−=κ 50,0−=κ 53,0−=κ 98,0−=κ
Welche Probleme gibt es bei der Anwendung?
Warum werden diese Probleme als solche empfunden?
Warum bezeichnet man diese Ergebnisseals paradox bzw. warum erscheinen sie
unplausibel?
„The coefficient kappa ... is theproportion of agreement after
chance agreement is removed fromconsideration.“ (Cohen, 1960)
beobachteteÜbereinstimmung
Suggerierter Zusammenhang zwischen beobachteterund zufälliger Übereinstimmung:
zufälligeÜbereinstg.
Warum werden diese Probleme als solche empfunden?
beobachteteÜbereinstimmung
Suggerierter Zusammenhang zwischen beobachteterund zufälliger Übereinstimmung (Fortsetzung):
zufälligeÜbereinstg.
Kompetenz-bedingte
Übereinstimmung
zufälligeÜbereinstg.
Warum werden diese Probleme als solche empfunden?
„Zwei Befunder werden bei einem gewissen Anteil der
Individuen bereits rein zufällig den gleichen Befund erstellen,
auch wenn gar kein Bezug des Befundes zum Individuum
besteht (mithin zufällige Übereinstimmungen auftreten). Nun
interessiert in erster Linie, wie weit die durch echte
Kompetenz bedingte Übereinstimmung den Anteil dieser
`Zufalls-Treffer´ überschreitet. Gemessen wird also das
Kompetenz-bedingte Agreement zweier oder mehrerer
Befunde(r) ...“ (Krummenauer, 1999)
Warum werden diese Probleme als solche empfunden?
B
Tatsächlicher Zusammenhang zwischen beobachteterund erwarteter Übereinstimmung bei Cohen:
Warum werden diese Probleme als solche empfunden?
beobachteteÜbereinstimmung
„Kappa is not really a chance-correctedmeasure of agreement.“ (Übersax, 2002)
erwarteteÜberein-
stimmung
E
C
Ursache der Paradoxa:
332211pppB ++=
1..3.2.1.
.3333231
.2232221
.1131211
=pppp
ppppH
ppppN
ppppS
HNS
)()(
)()(
)()(
332313333231
322212232221
312111131211
3..32..21..1
pppppp
pppppp
pppppp
ppppppE
++⋅+++++⋅+++++⋅++=
++=
In Cohens Korrekturtermfließen Matrixelemente ein,die nichts zur beobachtetenÜbereinstimmung beitragen!
Wie lassen sich diese Probleme lösen?
1..3.2.1.
.3333231
.2232221
.1131211
=pppp
ppppH
ppppN
ppppS
HNS
)()(
)()(
)()(
332313333231
322212232221
312111131211
3..32..21..1
pppppp
pppppp
pppppp
ppppppE
++⋅+++++⋅+++++⋅++=
++=
332211pppB ++=
Wie lassen sich diese Probleme lösen?
Verwende für denKorrekturterm nur die Anteile
der Randverteilungen, die auchAnteil an der beobachtetenÜbereinstimmung haben!
2
33
2
22
2
11pppC ++=
C
CB
ney −−=⇒
1κ
Modifizierungsvorschlag:
Mengentheoretische Betrachtungsweise:
ergibtCSummederenElementederMenge
ergibtESummederenElementederMenge
ergibtBSummederenElementederMenge
, :
:
, :
===
CEB
Wie lassen sich diese Probleme lösen?
2
33
2
22
2
11
23311331
,322322211221
31132111
2
11
332211
,,
,,,
,,,
,,,,
,,
p p p
p ... pp pp
pp ... pp pp
pp ... pp p
p p p
2
33
=
==
C
EB
)()(
)()(
)()(
332313333231
322212232221
312111131211
3..32..21..1
pppppp
pppppp
pppppp
ppppppE
++⋅+++++⋅+++++⋅++=
++=
Wie lassen sich diese Probleme lösen?
Mengendarstellung:
)1(1111
pp −
)1(2222
pp −
)1(3333
pp −
B
311321131113
311221121112
31112111
pppppp
pppppp
pppp
322322231223
23221222
322122211221
pppppp
pppp
pppppp
23331333
333223321332
333123311331
pppp
pppppp
pppppp
E2
11p
2
22p
2
33p
Welche Vorteile hat der Modifizierungsvorschlag?
Unterschiedliches B, gleiches Kappa:
0=κ10
0000
0000
10
93
96
93
96
0=κ10
0000
0000
10
97
92
97
92
18,0=neyκ41,0=neyκ
10
0
0000
00
95
94
96
95
91
93
93
21,0=κ10
00
0000
0
93
96
93
93
96
93
93
50,0−=κ
Gleiches B, unterschiedliches Kappa:
25,0=neyκ25,0=neyκ
Beispiele (1):
Welche Vorteile hat der Modifizierungsvorschlag?
Beispiele (2):
1
0
00
93
93
93
93
92
91
94
91
92
91
92
92
51,0=κ
1
00
0
00
91
91
97
91
91
92
91
91
96
96
27,0=κ
1. Kappa-Paradoxon:
10
0
00
0000
92
97
97
92
95
92
92
04,0−=κ10
00
0000
00
94
95
95
95
94
94
98,0−=κ
3. Kappa-Paradoxon:
30,0=neyκ 29,0=neyκ
0=neyκ 0=neyκ
61,0=neyκ 41,0=neyκ
1
00
0
91
93
95
91
91
93
91
92
95
91
92
92
18,0−=κ
1
00
0
95
93
91
91
91
93
92
91
95
92
92
91
13,0=κ
2. Kappa-Paradoxon:
0,0
0,2
0,4
0,6
0,8
1,0
-0,2 0,0 0,2 0,4 0,6 0,8 1,0
Cohens Kappa
Beobach
tete
Übere
inst
imm
ung Kappa-Paradoxa
Scatterplot B vs. Cohens Kappa (Beispiel):
n=297
Welche Vorteile hat der Modifizierungsvorschlag?
Kappa-Paradoxa
0,0
0,2
0,4
0,6
0,8
1,0
-0,2 0,0 0,2 0,4 0,6 0,8 1,0
Kappa_ney
Beobach
tete
Übere
inst
imm
ung
Scatterplot B vs. (Beispiel):
n=297
Welche Vorteile hat der Modifizierungsvorschlag?
neyκ
Welche Schlussfolgerungen ergeben sich?
• berücksichtigt nur den Anteil der zufallsmäßig zu erwartenden Übereinstimmung, der gleichzeitig auch Anteil der beobachteten Übereinstimmung ist.
• kann nicht negativ werden: Minimum ist 0, Maximum ist 1.
• ist (ebenso wie Cohens Kappa) nicht definiert, falls nur eine Zelle der Agreement-Matrix besetzt (mit 1).
• Ist keine Übereinstimmung zu beobachten, findet bei auch keine Zufallskorrektur statt.
• ist erweiterbar (multiple Ratings, Gewichtung, mehrere Kategorien).
• ist Paradoxa-frei.
neyκ
neyκneyκ
neyκ
neyκ
neyκ
Andere Ansätze zur Lösung der Paradoxa:
• Brennan & Prediger (1981):Coefficient kappa: Some uses, misuses, and alternatives.
• Cicchetti & Feinstein (1990):High agreement but low kappa: II. Resolving theparadoxes.
• Byrt, Bishop & Carlin (1993):Bias, prevalence and kappa.
• Lantz & Nebenzahl (1996):Behavior and interpretation of the kappa statistic:Resolution of the two paradoxes.
Wie lassen sich diese Probleme lösen?
Die semantische Lösung:
Betrachte den Kappa-Koeffizienten nur alsdas, was er tatsächlich ist: Ein Koeffizient,
der (die adjustierte) Differenz zwischenbeobachteter Übereinstimmung underwarteter Übereinstimmung misst.
Misst man Kappa also nicht mehr dieBedeutung eines zufallskorrigierten
Übereinstimmungskoeffizienten bei, ergebensich auch keine paradoxen Ergebnisse.
Wie lassen sich diese Probleme lösen?
Ich bedanke mich für Ihre [email protected]
