Assessment-Center II:

oder:

Warum sind AC‘s prognostisch valide und wenig konstruktvalide?

Studie zu den Konsequenzen der Bekanntgabe der Anforderungsdimensionen für Konstrukt- und Kriteriumsvalidität

von Martin Kleinmann 1997

Gliederung:

1. Problem Konstruktvalidität

2. Studie von Martin Kleinmann (1997):

- Konsequenzen der Bekanntgabe der Anforderungsdimensionen für Konstrukt- und Kriteriumsvalidität im AC

1.Problem Konstruktvalidität

Warum weisen AC‘s eine hohe prädiktive Validität auf?

Anforderungsdimensionen

Leistungsbewertung in den Dimensionen als Prädiktor

Beurteilung der „Dimensionen im Kriterium“

„Weil sie berufsrelevante Anforderungsdimensionen der Teilnehmer erfassen.“

Empirisch nachgewiesen wurde ein Mangel an Konstruktvalidität!!!

1. Multi-Trait-Multi-Method-Untersuchung zur Konstruktvalidität von AC‘s von Russell (1987):

• Konvergente Validität betrug .25

> die Bewertungen derselben Anforderungsdimension in unterschiedlichen Übungen müßten aber hoch korreliert sein

• Diskriminante Validität betrug .50

> die Bewertungen auf unterschiedlichen Anforderungsdimensionen in derselben Übung müßten aber niedrig korreliert sein

Es ist also unklar, was im AC gemessen wird!

2. Klassische Studie von Sackett & Dreher (1982)

Zentraler Befund:

• Beobachterurteile im AC beruhen nicht auf Anforderungsfaktoren sondern auf Übungsfaktoren!

Denn:

> Teilnehmer werden in einer Übung auf verschiedenen Anforderungsdimensionen sehr ähnlich bewertet.

> auf identischen Anforderungsdimensionen in verschiedenen Übungen werden die Teilnehemer sehr unähnlich bewertet.

2. „Transparenz der Anforderungsdimensionen - ein Moderator der Konstrukt-und Kriteriumsvalidität im Assessment-Center

(Kleinmann 1997)

Zentrale Annahmen:

1. AC‘s, in denen die Anforderungen bekannt gemacht werden, sind eher konstruktvalide.

3. Personen, die die Anforderungsdimensionen in der Intransparenz- bedingung erkennen, verfügen über ein höheres Maß an „sozialer Urteilskompetenz“ und werden besser bewertet, als Personen, die sie nicht erkennen.

2. AC‘s, in denen die Anforderungen nicht bekannt gemacht werden, sind eher kriteriumsvalide.

reziproke Beziehung

Theoretische Einbettung

1. Moderatoren der Konstruktvalidität I (Kleinmann 1993):

Intransparenz der Anforderungsdimensionen

Erkennnen / Erraten der Anforderungsdimensionen

Trefferquote richtig erkannter Dimensionen variiert nach:

Erkennensfähikeit der Person Eindeutigkeit der Übung

Beeinflußt konvergente ValiditätHöher konvergente

Validität, wenn Dimensionen über Übungen hinweg erkannt / nicht erkannt wurden

Geringere konvergente Validität, wenn Dimensionen mal erkannt wurden und mal nicht

• Intransparente Dimensionen vermindern die konvergente Validität, weil Teilnehmer raten bzw. erkennen

• Personen unterscheiden sich in ihrer Fähigkeit, relevante Anforderungen zu erkennen bzw. zu erraten

• Bessere Bewertung eines Teilnehmers, je mehr Anforderungs-dimensionen er richtig erkannt hat

• Je mehr Anforderungsdimensionen ein Teilnehmer übungsunabhängig errät / erkennt, desto besser und konsistenter ist die Bewertung, also auch die konvergente Validität

2. Moderatoren der Konstruktvalidität II (Kleinmann et al. 1996):

Bekanntgabe der Anforderungsdimensionen

Konsistente Verhaltenssleistung

Konsistente Beurteilungen der Leistungen

Beeinflußt konvergente Validität

Hypothese:„Die Bekanntmachung der Anforderungsdimensionen hat Einfluß auf die Konstruktvalidität“

Vorgehen:- Anforderungsdimensionen wurde einem Teil der Stichprobe bekanntgemacht und dem anderen nicht

Ergebnisse:

• Konstruktvalidität ist eher gegeben, wenn die Anforderungen bekannt gegeben wurden:

- Beobachterbewertung kann in der Transparenzbedingung eher durch Dimensionsfaktoren erklärt werden als in der Intransparenzbedingung

- Es zeigte sich eine höhere diskriminante und konvergente Validität bei Teilnehmern, die angaben, ihr Verhalten nach den Anforderungen auszurichten, als bei solchen, die angaben dies nicht zu tun

3. Kriteriumsvalidität

Annahme:

„Das Erkennen der relevanten Anforderungsdimensionen bedingt einen Teil der gemeinsamen Varianz von Prädiktor und Kriterium.“

• Erkennen von Anforderungen ist eine Fähigkeit, die auch im Kriterium von Bedeutung ist:

- Z.B.: Erkennen, welche Anforderungen einer angestrebten Beförderung (=Kriterium) zugrunde liegen

Erkennen von Anforderungsdimensionen könnte der zentrale Wirkmechanismus der prädiktiven Validität sein !

Hypothesen

Prädiktive Validität:

1. In der Transparenzbedingung ist die prädiktive Validität geringer als in der Intransparenzbedingung.

Konstruktvalidität:

2. In der Transparenzbedingung wird die Varianz der Beurteilungen sowohl durch die Übungen als auch durch die Personenmerkmale erklärt.

3. In der Intransparenzbedingung wird die Varianz der Beurteilungen weitesgehend durch die einzelnen Übungen bestimmt.

Moderierender Wirkmechanismus der prädiktiven Validität:

4. Je mehr Anforderungen von Teilnehmern erkannt werden, desto besser schneiden sie in einem Test für „soziale Urteilskompetenz“ ab.

Replikation der Studie „Erkennen von Anforderungsdimensionen“:

5. Je mehr Dimensionen erkannt werden, desto besser wird ein Teilnehmer bewertet.

Methode

• 16 AC‘S wurden in einer Laborstudie mit 125 studentischen Teilnehmern durchgeführt > Erhöhung der internen Validität!

• Manipuliert wurde die Transparenz der Anforderungsdimensionen im Prädiktor-AC

• Als Kriterium wurde zeitgleich ein zweites AC durchgeführt: - mit anderen Beobachtern

- ohne Bekanntgabe der Anforderungsdimensionen

• In einem Vorversuch wurden die Übungen und Dimensionen ausgewählt:

Übungen des Prädiktor-AC‘S:

1. Diskussion ohne Rollenverteilung „Nachwuchsförderung“

3. Präsentation „Szenariotechnik“

Übungen des Kriterium-AC‘S:

2. Diskussion mit Rollenverteilung

4. Rollenspiel

3 Dimensionen wurden ausgewählt:

3. Überzeugungsfähigkeit - Verhalten: entkräftet Gegenargumente, ...

1. Problemlösefähigkeit - Verhalten: geht strukturierend vor, ...etc.

2. Soziale Sensibilität - Verhalten: geht auf andere ein, ...etc.

• 16 Beobachter (Psychologiestudenten) wurden einen Tag trainiert

- Dimensionen und Verhalten, Übungen, Beobachtungsfehler

- Keine Informationen über die Hypothesen

- Keine Informationen darüber, daß es eine Transparenz- und eine Intransparenzbedingung gab

• Test für „soziale Urteilskompetenz“ wurde mit Teilnehmern durchgeführt

• In AC‘s der Intransparenzbedingung wurde die Anzahl der erkannten Anforderungsdimensionen erfaßt.

• Fragebogenerhebung als Manipulation Check

Forschungsdesign

Kriteriums-AC: Intransrarenzbed.

Prädiktor-AC: Intransparenzbedingung

Experimentalgruppe 1: Experimentalgruppe 2:

Kriteriums-AC: Intransparenzbed.

Prädiktor-AC: Transparenzbedingung

1. Gruppendiskussion m. Rollenvorgabe 1. Gruppendiskussion m. Rollenvorgabe

2. Rollenspiel 2. Rollenspiel

3. Gruppendiskussion o.Rollenvorgabe

„Nachwuchsförderung“

4. Präsentation mit Disput

„Szenariotechnik“

3. Gruppendiskussion o.Rollenvorgabe

„Nachwuchsförderung“

4. Präsentation mit Disput

„Szenariotechnik“

• Fragebogen & Manipulation Check

• Test „soziale Urteilsfähigkeit“ (Filmszenen)

• Fragebogen & Manipulation Check

• Test „soziale Urteilsfähigkeit“ (Filmszenen)

• Verhaltensleistungen wurden von den Beobachtern auf einer fünfstufigen Skala bewertet

• Jeweils nach den Prädiktor- bzw. Kriteriumsübungen wurde eine Beobachterkonferenz abgehalten

- Einigung auf gemeinsame Beurteilungswerte

• Die Gesamtbeurteilung erfolgte hinsichtlich des Managementpotential des Teilnehmers

Ergebnisse

Manipulation Checks:

• In Transparenzbedingung wurden die Erklärungen zu den Anforderungen verstanden• In der Intransparenzbedingung ist für keine der Übungen eine zu leichte Erkennbarkeit der Anforderungsdimensionen aufgetreten

Prüfung der Hypothesen:

1. Hypothese „Intransparenzbedingung: höhere prädiktive Validität“

• Korreliert wurden die Gesamtbewertungen von Prädiktor- und Kriteriums-AC• Anforderungen im Prädiktor-AC bekanntgegeben: r=.34

• Anforderungen im Prädiktor-AC nicht bekanntgegeben: r=.65

Hypothese 1 ist bestätigt „in Intransparenzbedingung zeigte sich eine höhere prädiktive Validität“

2 & 3. Hypothese „Transparenzbedingung = höhere Konstruktvalidität“

„Intransparenzbedingung = niedrige Konstruktvalidität

• Vorliegen von Kontruktvalidität wird mit Multi-Trait-Multi-Method-Matrix überprüft

• Die MTMM-Matrix wird mittels der konfirmatorischen Faktorenanalyse getestet und die Faktorenanalyse mit LISREL durchgeführt (jeweils )für beide Bedingungen.

- Apriori werden Hypothesen über Modelle gebildet, die die Kovarianzmatrix abbilden sollen:

- Varianzen und Kovarianzen der MTMM-Matrix werden ...

a) allein durch die Persönlichkeitsfaktoren bestimmt

b) allein durch die Übungsfaktoren bestimmt

c) durch Übungs- und Persönlichkeitsfaktoren bestimmt

- Mit der LISREL- bzw. Kausalanalsyse werden die angenommenen Modelle mit den empirisch gewonnen Daten auf Übereinstimmung geprüft.

Die Hypothesen 2 & 3 werden bestätigt!

1. Hohe Konstruktvalidität in der Transparenzbedingung

- Modell mit 3 Merkmalsfaktoren und 2 Übungsfaktoren erklärt die Kovarianzmatrix am besten

- Alle Faktoren sind für die Erklärung der Beobachterbeurteilungen notwendig

2. Niedrige Konstruktvalidität in der Intransparenzbedingung

- Modell mit nur 2 Übungsfaktoren erklärt die Kovarianzmatrix am ökonomischsten

- Nur die beidenÜbungsfaktoren sind für die Erklärung der Beobachterbeurteilungen notwendig

4. Hypothese „Zusammenhang zw. Anzahl erkannter Dimensionen und sozialer Urteilskompetenz“

• Rangkorrelationen zw. Anzahl richtig erkannter Dimensionen und Ergebnissen im Test „soziale Urteilskompetenz“ von r = .25 bei p < .05 bestätigen den postulierten Zusammhang

5. Hypothese „Zusammenhang zw. Anzahl erkannter Dimensionen und Bewertung“

• Rangkorrelationen zw. Anzahl richtig erkannter Dimensionen und „Gesamt-Management-Potential“ von r = .32 bei p < .01 bestätigen den postulierten Zusammhang

Diskussion

1. Unter der Bedingung, daß die Anforderungsdimensionen bekannt gegeben werden, erhöht sich die konvergente Validität und reduziert sich die kriteriumsbezogene Validität.

Erläuterung zu 1:

Kriteriumsbezogene Validität ist in der Intransparenzbedingung höher als in der Transparenzbedingung, weil der vermittelnde Mechanismus zw. Prädiktor und Kriterium das „Erkennen von Anforderungsdimensionen“ ist.

2. Unter der Bedingung, daß die Anforderungsdimensionen nicht bekannt gegeben werden, vermindert sich die konvergente Validität und ehöht sich die kriteriumsbezogene Validität.

• Dazugehöriges Konstrukt: „Soziale Urteilskompetenz:

> Personen, die Anforderungsdimensionen gut erkennen können, soren auch hoch im Tesz zur „sozialen Urteilsfähigkeit“.

Erläuterung zu 2:

Bei Bekanntgabe der Anforderungen steigt die konvergente Validität, weil die Teilnehmer, wissen, welches Verhalten gefordert ist, dieses also konsistenter zeigen können und somit auch konsistenter in identischen Dimensionen in unterschiedlichen Übungen bewertet werden.

Implikationen für die Praxis:

> Anforderungsdimensionen sollten bei Personalentwicklungs-AC‘S bekannt gegeben werden - erhöht die Konstruktvalidität!

> Anforderungsdimensionen sollten bei Personalauswahl-AC‘s nicht bekannt gegeben werden - erhöht die prädiktive Validität