Faktorielle Struktur des Strengths and Difficulties Questionnaire

(SDQ) und Testinformation seiner Subskalen gemäß Item Response

Theory-Modellen

Ferdinand Keller1, Alexandra Langmeyer2 & Jost Reinecke3

1 Universität Ulm, Klinik für Kinder- und Jugendpsychiatrie/Psychotherapie2 Deutsches Jugendinstitut e.V. München3 Universität Bielefeld, Fakultät für Soziologie

XXXV. Kongress der Deutschen Gesellschaft für Kinder- und Jugendpsychiatrie, Psychosomatik und Psychotherapie (DGKJP)

22.03. – 25.03.2017 , Ulm

2

Strengths and Difficulties Questionnaire (SDQ) (R. Goodman)

� Messung von psychosozialen Problemen (ICD, WHO, 1992) und Stärken

(prosoziales Verhalten) von Kindern im Alter von 3 – 16 Jahren in

den letzten 6 Monaten

� 25 Items mit 5 Subskalen: Hyperaktivität/Unaufmerksamkeit,

Emotionale Probleme, Verhaltensprobleme, Verhaltensprobleme

mit Gleichaltrigen, Prosoziales Verhalten

� Eltern-, Kinder- und Lehrerversion mit Cut-off Werten

� in über 60 Sprachen übersetzt

� Screening zur klinischen Diagnose und Forschungsinstrument

� Validiert an CBCL (z.B. Woerner et al., 2000)

� Antwortformat 3-stufig: 0=“Trifft nicht zu“, 1=“Trifft teilweise zu“,

2=“Trifft eindeutig zu“

� Problem: oft mehrere Aussagen in einem Item

3

Interne Konsistenz und Trennschärfen: Emotionale Probleme

Stone et al. (2010)

pairfam AID:A

Emot. Probleme (α) .66(.60-.76)

.68 .66

Oft unglücklich oder niedergeschlagen;weint häufig

.47 .46

Klagt häufig über Kopfschmerzen,

Bauchschmerzen oder Übelkeit

.30 .30

Hat viele Sorgen; erscheint häufig bedrückt .50 .47

Hat viele Ängste; fürchtet sich leicht .51 .46

Nervös oder anklammernd in neuen

Situationen; verliert leicht das

Selbstvertrauen

.45 .44

Trennschärfen

4

AuswertungGesamtproblemwert = Summenscore aus allen negativen

Skalen

Quelle: www. sdqinfo.com

Total difficulties score und Prosoziales Verhalten

CFA-Modelle zum SDQ (Goodman et al., 2010)

CFA-Modelle zum SDQ (Goodman et al., 2010)

8

Konfirmatorische Faktorenanalyse: Bifactor

1-factor first order model 5-factor bifactor model

Kobor et al., 2013

9

Methodischer Hintergrund� „Früher“: Faktorenanalyse (konfirmatorisch) und Item response theory (IRT; probabilistische

Testmodelle) sind „zwei verschiedene Welten“.

„Heute“: ineinander überführbar, aber unterschiedliche Vorteile:

� IRT gut geeignet bei Items mit wenig Kategorien und schiefer Verteilung; informiert über

Kategorien-Schwellenwerte, Testinformation über den latenten trait hinweg, ermöglicht

Stichprobenunabhängigkeit (wenn RM gilt)

� Trotzdem: IRT kaum (gar nicht?) angewandt bei SDQ Eltern, selten bei SDQ Selbsturteil

a) IRT bei jeder Subskala: besteht Unidimensionalität, passt Rasch-Modell,

wie liegen die Schwellenwerte, Messgenauigkeit über den Skalenbereich?

b) IRT bei total difficulties score (TDS): dto.,

bifactor-Analyse mit multidim. IRT-Modell: Generalfaktor TDS?

c) Vergleichbarkeit der Itemparameter in zwei Stichproben?

d) Vergleichbarkeit der Testinformation von SDQ Eltern und SDQ selbst

Fragestellung

10

Studie „Panel Analysis of Intimate Relationships

and Family Dynamics“ (pairfam)

� Beziehungs- und Familienpanel

� DFG geförderte, interdisziplinäre Längsschnittstudie

� Laufzeit: 14 Jahren bis 2023

� Kohorten Design:

Welle 1: 4334 (91-93), 4016 (81-83), 4052 (71-73) Ankerinterviews

� Multi-Actor-Ansatz

11

Stichprobenpairfam Welle 2 und AID:A 2009

pairfam AID:A

N 1078 1346

N Mütter (%) 744 (69) 1275 (94.7)

Alter in Jahren M (SD) 36.6 (2.5) 38.2 (5.7)

höchster Schulabschluss CASMINFachhochschulreife/Abitur (%)mittlere Reife (%)

31.243.2

66.924.9

Kind Mädchen (%) 49.0 48.9

Alter Kind in JahrenM(SD)Range

10.1 (2.0)7-16

7.2 (0.8)5-8

Ostdeutschland (%) 20.5 20.5

12

Statistik….

� IRT-Modelle:

� Rasch-Modell (partial cedit model (PCM)): Winmira (v. Davier, 2001)

� Generalisiertes PCM: R package mirt

� Graded response model (GRM): Mplus, mirt

(Mplus: MLR und WLSMV Schätzung)

� Bifactor-Modell auf Basis des GPCM: mirt

� Reliabilität der Faktoren in bifactor-Modell: omega-Koeffizienten

(eigene Berechnungen, gemäß Rodriguez et al. (2016). Psychological Methods)

Chalmers, R.P. (2012). mirt: A Multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-29.

13

Interne Konsistenz und Trennschärfen: Emotionale Probleme

Stone et al. (2010)

pairfam AID:A

Emot. Probleme (α) .66(.60-.76)

.68 .66

Oft unglücklich oder niedergeschlagen;weint häufig

.47 .46

Klagt häufig über Kopfschmerzen,

Bauchschmerzen oder Übelkeit

.30 .30

Hat viele Sorgen; erscheint häufig bedrückt .50 .47

Hat viele Ängste; fürchtet sich leicht .51 .46

Nervös oder anklammernd in neuen

Situationen; verliert leicht das

Selbstvertrauen

.45 .44

Trennschärfen

IRT Analysen zu Total difficulties score für pairfa m: graded response model

Trace lines for item 17

θ

P(θ

)

0.0

0.2

0.4

0.6

0.8

1.0

-4 -2 0 2 4

P1P2P3

Trace lines for item 6

θ

P(θ

)

0.0

0.2

0.4

0.6

0.8

1.0

-4 -2 0 2 4

P1P2P3

Trace lines for item 16

θ

P(θ

)

0.0

0.2

0.4

0.6

0.8

1.0

-4 -2 0 2 4

P1P2P3

17 = steals6 = worries16 = reflects

IRT Analysen zu Total difficulties score für pairfa m: graded response model

16

Standard errors of measurement (SE) (I)Partial Credit Model (full line) and Generalized PCM (dashed line); Stichprobe: pairfam

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Emotional Problems

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Hyperactivity/Inattention

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Peer Problems

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Conduct Problems

17

Standard errors of measurement (SE) (II)

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Prosocial Behaviour

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Total Difficulties Score

Partial Credit Model (full line) and Generalized PCM (dashed line); Stichprobe: pairfam

Keller, F., & Langmeyer, A. (in press). An item response theory analysis of the Strengthsand Difficulties Questionnaire (SDQ). European Journal of Psychological Assessment

TDS: Faktorladungen des bifactor-Modells und Reliabilität

Bifactor-Modell berechnet alsmultidim. IRT-Modell (GPCM):

Interpretation:Alle Items laden auf demGeneralfaktor, aber auch auf ihrem spezifischen Faktor

ReliabilitätOmega = .88OmegaH (G-Faktor) = .69

Omega: Subskala gesamtOmega(HS): bereinigt um Anteil Generalfaktor

19

Category threshold parameterspairfam (P) and AID:A (A)

-3

-2

-1

0

1

2

3

threshold 1 P threshold 2 P threshold 1 A threshold 2 A

Literatur SDQ self-report

1) Goodman et al. (2010).

2) Patalay, P., Fonagy, P., et al. (2015). A general psychopathology factor in early adolescence. British Journal of Psychiatry, 207(1), 15-22Generalfaktor und zwei spezifische Faktoren: internalisierend und externalisierend.

3) Carragher, N. e al. (2016). The structure of adolescent psychopathology: a symptom-level analysis. Psychological Medicine, 46, 981–994SDQ ohne die ”reverse-coded” items, und kombiniert mit anderen Messinstrumenten:Generalfaktor (”psychopathology”) und drei spezifische

Faktoren: internalisierend, external. und ”thought disorder”

SFB 882 „Von Heterogenitäten zu Ungleichheiten“ ○ http://www.sfb882.uni-bielefeld.de/ ○ Gefördert durch die Deutsche Forschungsgemeinschaft (DFG) 21

Studiendesign der Dortmunder Schülerbefragung

Jahr5

6

7

9

10

11

2012 2013 2014

Klasse

11

10

9

8

7

6

5

22

Vergleich Eltern- und Selbsturteil in SEMStichprobe: pairfam und Dortmund 2012; PCM (full line) and GPCM (dashed line)

-3 -2 -1 0 1 2 3

0.00.51.01.52.02.53.0

theta

SE

(the

ta)

Emotional Problems

-3 -2 -1 0 1 2 3

0.0

0.5

1.0

1.5

2.0

2.5

3.0

theta

SE

(the

ta)

Prosocial (self-report)

23

Zusammenfassung

a) IRT bei Subskala: Unidimensionalität, passt Rasch-Modell, Schwellenwerte?

- Rasch-Modell zu restriktiv, generalisiertes RM besser

- Unidimensionalität: ja, außer Hyperaktivität/Unaufmerksamkeit (2-dim.)

- Problemsubskalen messen nur im oberen Bereich gut (Prosozial im unteren)

b) IRT bei total difficulties score (TDS): dto.,

bifactor-Analyse mit multidim. IRT-Modell: Generalfaktor TDS?

- essentiell unidimensional, alle Items laden auf Generalfaktor; Subskalen sind

von zusätzlichem Wert.

[generell: internal. und external. Verhalten in einen Summenwert/Faktor?]

- gute Testinformation über einen breiten Bereich

c) Vergleichbarkeit der Itemparameter in zwei Stichproben?

- gute Vergleichbarkeit der Schwellen, außer in problemat. Items (stiehlt)

d) Vergleichbarkeit der Testinformation von SDQ Eltern und SDQ selbst

- sehr ähnliche Testinformationsfunktion bei bisher berechneten Subskalen

Klinik für Kinder- und Jugendpsychiatrie / Psychotherapie des Universitätsklinikums Ulm

Steinhövelstraße 589075 Ulm

www.uniklinik-ulm.de/kjpp

Ärztlicher Direktor: Prof. Dr. Jörg M. Fegert

25

Literatur (I)

Becker, A., Woerner, W., Hasselhorn, M., Banaschewski, T., & Rothenberger, A. (2004). Validation of the parent and teacher SDQ in a clinical sample. European Child & Adolescent Psychiatry, 13(2), ii11-ii16.

Böhnke, J.R., & Croudace, T.J. (2015). Factors of psychological distress: clinical value, measurement substance, and methodological artefacts. Social Psychiatry and Psychiatric Epidemiology, 50, 515-524.

Böhnke, J.R., & Lutz, W. (2014). Using item and test information to optimize targeted assessments of psychological distress. Assessment, 21, 679-693.

Brunner, M., Nagy, G., & Wilhelm, O. (2012). A tutorial on hierarchically structured constructs. Journal of Personality, 80, 796-846.Caci, H., Morin, A.J.S., & Tran, A. (2015). Investigation of a bifactor model of the Strengths and Difficulties Questionnaire. European Child and

Adolescent Psychiatry, 24, 1291-1301.Cai, L. (2010). A two-tier full-information item factor analysis model with applications. Psychometrika, 75, 581-612.Cai, L., Yang, J.S., & Hansen, M. (2011). Generalized full-information item bifactor analysis. Psychological Methods, 16, 221-248.Chalmers, R.P. (2012). mirt: A Multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1-

29.Chen, W.H., & Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral

Statistics, 22, 265-289.DeMars, C. (2010). Item response theory. New York: Oxford University Press.Dumenci, L., & Achenbach, T.M. (2008). Effects of estimation methods on making trait-level inferences from ordered categorical items for

assessing psychopathology. Psychological Assessment, 20, 55-62.Gignac, G.E. (2014). On the inappropriateness of using items to calculate total scale score reliability via coefficient alpha for multidimensional

scales. European Journal of Psychological Assessment, 30(2), 130-139.Goodman, A., Lamping, D.L., & Ploubidis, G.B. (2010). When to Use Broader Internalising and Externalising Subscales Instead of the

Hypothesised Five Subscales on the Strengths and Difficulties Questionnaire (SDQ): Data from British Parents, Teachers and Children. Journal of Abnormal Child Psychology, 38, 1179-1191.

Goodman, R. (1997). The Strengths and Difficulties Questionnaire: A research note. Journal of Child Psychology and Psychiatry, 38, 581-586.Goodman, R. (2001). Psychometric properties of the Strengths and Difficulties Questionnaire. Journal of the American Academy of Child and

Adolescent Psychiatry, 40, 1337-1345.Heiervang, E., Stormark, K. M., Lundervold, A. J., Heimann, M., Goodman, R., Posserud, M. B., ... & Gillberg, C. (2007). Psychiatric disorders in

Norwegian 8-to 10-year-olds: an epidemiological survey of prevalence, risk factors, and service use. Journal of the American Academy of Child & Adolescent Psychiatry, 46(4), 438-447.

Hagquist, C. (2007). The psychometric properties of the self-reported SDQ: An analysis of Swedish data based on the Rasch model. Personality and Individual Differences, 43, 1289-1301.

Jennrich, R. I., & Bentler, P. M. (2011). Exploratory bi-factor analysis. Psychometrika, 76(4), 537-549.Kóbor, A., Takács, Á., & Urbán, R. (2013). The bifactor model of the Strengths and Difficulties Questionnaire. European Journal of Psychological

Assessment, 29(4), 299 – 307.

26

Literatur (II)

Klasen, H., Woerner, W., Wolke, D., Meyer, R., Overmeyer, S., Kaschnitz, W., ... & Goodman, R. (2000). Comparing the German versions of the strengths and difficulties questionnaire (SDQ-Deu) and the child behavior checklist. European Child & Adolescent Psychiatry, 9(4), 271-276.

Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149–174.Muraki, E. (1992). A generalized partial credit model: Application of an EM algorithm. Applied Psychological Measurement, 16, 159-176.Niclasen, J., Skovgaard, A.M., Nybo Andersen, A.-M., Somhovd, M.J., & Obel, C. (2013). A confirmatory approach to examining the factor

structure of the Strengths and Difficulties Questionnaire (SDQ): A large scale cohort study. Journal of Abnormal Child Psychology, 41, 355-365.

Patalay, P., Fonagy, P., Deighton, J., Belsky, J., Vostanis, P., & Wolpert, M. (2015). A general psychopathology factor in early adolescence. The British Journal of Psychiatry, 207(1), 15-22.

Prady, S.L., Pickett, K.E., Croudace, T., Mason, D., Petherick, E.S., McEachan, R.R., Gilbody, S., & Wright, J. (2016). Maternal psychological distress in primary care and association with child behavioural outcomes at age three. European Child and Adolescent Psychiatry.

Reckase, M.D. (2009). Multidimensional item reponse theory. New York: Springer-Verlag.Reise, S.P. (2012). The rediscovery of bifactor measurement models. Multivariate Behavioral Research, 47, 667-696.Reise, S.P., Moore, T.M., & Haviland, M.G. (2010). Bifactor models and rotations: Exploring the extent to which multidimensional data yield

univocal scores. Journal of Personality Assessment, 92, 544-559.Rodriguez, A., Reise, S.P., & Haviland, M.G. (2016). Evaluating bifactor models: Calculating and interpreting statistical indices. Psychological

Methods.Rost, J., & von Davier, M. (1994). A conditional item-fit index for Rasch models. Applied Psychological Measurement, 18, 171-182.Samejima, F. (1969). Estimation of latent ability using a response pattern of graded scores. Psychometric Monograph Supplement, 34

(Monograph No. 17).Stone, L. L., Otten, R., Engels, R. C., Vermulst, A. A., & Janssens, J. M. (2010). Psychometric properties of the parent and teacher versions of

the strengths and difficulties questionnaire for 4-to 12-year-olds: a review. Clinical Child and Family Psychology Review, 13(3), 254-274.Stone, L. L., Otten, R., Ringlever, L., Hiemstra, M., Engels, R. C., Vermulst, A. A., & Janssens, J. M. (2013). The parent version of the strengths

and difficulties questionnaire. European Journal of Psychological Assessment, 29(1), 44-50.Stone, L. L., Janssens, J. M., Vermulst, A. A., van der Maten, M., Engels, R. C., & Otten, R. (2015). The Strengths and Difficulties Questionnaire:

Psychometric properties of the parent and teacher version in children aged 4-7. BMC Psychology, 3:4.Van Roy, B., Veenstra, M., & Clench-Aas, J. (2008). Construct validity of the five-factor Strengths and Difficulties Questionnaire (SDQ) in pre-,

early- and late adolescence. Journal of Child Psychology and Psychiatry, 49, 1304-1312.Von Davier, M. (2001). WINMIRA 2001 user’s guide. Kiel: IPNWirth, R.J., & Edwards, M.C. (2007). Item factor analysis: Current approaches and future directions. Psychological Methods, 12, 58-79.Woerner, W., Becker, A., & Rothenberger, A. (2004). Normative data and scale properties of the German parent SDQ. European Child &

Adolescent Psychiatry, 13(2), ii3-ii10.

IRT Analysen zu Subskalen für pairfam und AID:A (ges trichelt): Testinformationskurven unter dem graded response mode l

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Emotional ProblemsEmotional Problems

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Hyperactivity/Inattention

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Peer Problems

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Conduct Problems

IRT Analysen zu Subskalen für pairfam: Testinformationskurven unter dem graded response mo del

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Prosocial Behaviour

-4 -2 0 2 4

0

2

4

6

8

theta

Info

rmat

ion

Total difficulties score

29

Interne Konsistenz und Trennschärfen: Hyperaktivität

Stone et al. (2010)

pairfam AID:A

Hyperaktivität (α) .76 (.58-.85)

.78 .78

Unruhig, überaktiv, kann nicht lange stillsitzen

.59 .59

Ständig zappelig .60 .57

Leicht ablenkbar, unkonzentriert .65 .64

Denkt nach bevor er / sie handelt (R) .42 .40

Führt Aufgaben zu Ende; gute Konzentrationsspanne (R)

.58 .56

Trennschärfen

30

Interne Konsistenz und Trennschärfen: emotionale Probleme

Stone et al. (2010)

pairfam AID:A

Emot. Probleme (α) .66(.60-.76)

.68 .66

Oft unglücklich oder niedergeschlagen;weint häufig

.47 .46

Klagt häufig über Kopfschmerzen,

Bauchschmerzen oder Übelkeit

.30 .30

Hat viele Sorgen; erscheint häufig bedrückt .50 .47

Hat viele Ängste; fürchtet sich leicht .51 .46

Nervös oder anklammernd in neuen

Situationen; verliert leicht das

Selbstvertrauen

.45 .44

Trennschärfen

31

Interne Konsistenz und Trennschärfen: Verhaltensprobleme

Stone et al. (2010)

pairfam AID:A

Verhaltensprobleme (α) .58(.46-.76)

.57 .50

Streitet sich oft mit anderen Kindern oder

schikaniert sie

.40 .34

Stiehlt zu Hause, in der Schule oder

anderswo

.24 .10

Lügt oder mogelt häufig .41 .33

Im allgemeinen folgsam; macht meist, was

Erwachsene verlangen (R)

.29 .30

Hat oft Wutanfälle; ist aufbrausend .36 .32

Trennschärfen

32

Interne Konsistenz und Trennschärfen: Verhaltensprobleme mit Gleichaltrigen

Stone et al. (2010)

pairfam AID:A

Verhaltensprobleme mit Gleichaltrigen (α) .53(.30-.76)

.62 .59

Einzelgänger; spielt meist alleine .44 .43

Hat wenigstens einen guten Freund oder

eine gute Freundin (R)

.34 .28

Im allgemeinen bei anderen Kinder

beliebt (R)

.39 .38

Kommt besser mit Erwachsenen aus als

mit anderen Kindern

.34 .36

Wird von anderen gehänselt oder

schikaniert

.37 .32

Trennschärfen

33

Interne Konsistenz und Trennschärfen: Prosoziales Verhalten

Stone et al. (2010)

pairfam AID:A

Prosoziales Verhalten (α) .67(.54-.84)

.63 .61

Teilt gerne mit anderen Kindern

(Süßigkeiten, Spielzeug, Buntstifte usw.)

.33 .33

Rücksichtsvoll .38 .41

Lieb zu jüngeren Kindern .32 .30

Hilfsbereit, wenn andere verletzt, krank

oder betrübt sind

.46 .37

Hilft anderen oft freiwillig (Eltern, Lehrern

oder anderen Kindern)

.43 .41

Trennschärfen

34

Analyse für ordinale Daten mit WLSMV-Schätzmethode (Mplus)

Konfirmatorische Faktorenanalyse (CFA)

Model Χ2 df Χ2/df CFI TLI RMSEA

5-factor first order pairfam 1040.77* 265 3.9 .92 .91 .05

AID:A 860.77* 265 3.3 .93 .92 .04

1-factor first order pairfam 2595.19* 275 9.4 .77 .76 .09

AID:A 2900.89* 275 10.6 .71 .69 .08

5-factor bifactor pairfam 722.09* 240 3.1 .95 .94 .04

AID:A 672.53* 240 2.8 .95 .94 .04

5-factor bifactor; general nur auf TDS

pairfam 745.83* 244 3.1 .95 .94 .04

AID:A 659.61* 222 2.9 .95 .94 .04

* p < .001