Computergestützte Computergestützte diagnostische Verfahrendiagnostische Verfahren

WasWas ist neu an pro facts ? ist neu an pro facts ?

22

AgendaAgenda

1. Was sind computergestützte Verfahren?

2. Arten der computergestützten Diagnostik

3. Exkurs Planspiele4. Was ist neu an pro facts?5. Konzeption von pro facts6. Verwendete Testarten7. Reliabilität, Validität, Normierung8. Vorteile von pro facts9. Nachteile von pro facts

33

Computergestützte VerfahrenWenn die Anwendung von Computern als

diagnostisches Instrument mit direktem Probandenkontakt erfolgt, spricht man nach Schuler von computergestützter Diagnostik. Kubinger unterscheidet weiter zwischen originären Computertests – d.h. solchen Tests, die spezifisch für den (Personal-)Computer entwickelt wurden - und der lediglich mediumsgerechten Nutzung von EDV (statt Papier und Bleistift)

44

Bisherige computergestützte Bisherige computergestützte VerfahrenVerfahren

Hauptsächlich computergestützte Testverfahren (BKT, FAKT) und

Planspiele: Dabei geht es z.B. um die

Lösung von komplexen,vernetzten, intransparenten und eigendynamischen Aufgaben eines virtuellen Unternehmens.

55

Exkurs:PlanspieleExkurs:Planspiele

Bei Planspielen geht es hauptsächlich um strategisches Denken in vernetzten Systemen. D. Dörner hat mit „Tanaland“ ein wegweisendes virtuelles Spiel konstruiert, an dem sich dessen Nachfolger orientierten.

„Tanaland“ wurde als Entwicklungshilfeprojekt in Afrika angelegt. Die VP‘s konnten in ihrer Funktion als Entwicklungshelfer sechs Mal eingreifen, um die Situation in virtuellen 10 Jahren zu verbessern.

66

Wichtige Komponente sind die sog. Wichtige Komponente sind die sog. verdeckten Variablen des Planspiels:verdeckten Variablen des Planspiels:

sind die sog. verdeckten Variablen des Spiels:

Jagd auf Kleinsäuger

-

Kleinsäuger

+

Ernteertrag

Viehbestand

-

Leoparden

Insekten

-

+

-

77

Vor- und Nachteile von Vor- und Nachteile von PlanspielenPlanspielenVorteile Ökonomische Durchführung Standardisierte Vorgabe Prozessorientierte Auswertung

(Strategie des Vorgehens wird transparent)

Erfassung neuer Anforderungen (Reaktion auf Eigendynamik) durch Zeitraffereffekt

Aktivierung von Lernprozessen

Akzeptanz bei den Teilnehmern

Gegengewicht zu kommunikativ gesteuerten Fertigkeiten (AC‘s)

Nachteile Meist in AC‘s eingesetzt –

daher nur Gruppenleistung Validierung unsicher Reliabilität nur schwer

messbar Durch dynamische Gestaltung

haben die Bewerber unterschiedliche Schwierigkeitsgrade

Steuerungsleistung durch Vorerfahrung mit PC bestimmt

Leistung der Person ist auch abhängig von der Passung des Eingreifens zu unbekannten Systemparametern

88

Forschungslinien komplexen Forschungslinien komplexen ProblemlösensProblemlösens National:Bamberger Gruppe (D.Dörner) – Analyse der Schwierigkeiten

von Individuen im Umgang mit komplexen SystemenBayreuther Gruppe (Putz / Osterloh) – Unterschiede der

interindividuellen Testintelligenz und Unterschiede des bereichsspezifischen und –unspezifischen Wissens

Bonner Gruppe (J. Funke) – experimentelle Untersuchungen, die zu einer Systematisierung dynamischer Systeme führen und bestimmten Kriterien genügen müssen

Hamburger Gruppe (Kluwe) – Untersuchungen zu mentalen Modellen der VP und zu Lernprozessen

InternationalOxforder Gruppe (Broadbent)Brüsseler Gruppe (Karnas)Arbeitsgruppe am MIT (Massachusetts Institute of

Technology)

99

Was ist pro facts?Was ist pro facts?

Pro facts (professionelles Assessment by Computer for training and selection) wurde im Rahmen der Dissertation von S. Etzel entwickelt.

1010

Was ist neu an pro facts ?Was ist neu an pro facts ?

Die Vorteile von verschiedenen diagnostischen Methoden sollen vereint werden

Soll durch die multimediale Form der Darbietung das Involvement der Probanden erhöhen (sozial erwünschte Antworten vermindern)

Soll eine ökonomische Datenauswertung ermöglichen

Kann weitere Daten wie Bearbeitungsgeschwindigkeit von einzelnen Fragen und des Gesamtscores ermitteln

1111

Vergleich der verschiedenen Vergleich der verschiedenen diagnostischen Verfahrendiagnostischen Verfahren

Objektivität ReliabilitätKonstruktvalidität

soziale Validität

ökolog. Validität

Ökonomie

Test-verfahren ++ ++ ++ -- -- ++

Interview -- ?? -- ?? ++ ++

AC ?? ?? ?? ++ ++ --

1212

Konzeption von pro factsKonzeption von pro facts

Die Testpersonen werden einzeln und ohne weitere Hilfsmittel am PC getestet.

Die Testdurchführung hat Spielcharakter.

In der Ursprungsform wurden zwei Dimensionen mit einem sich überschneidenden Pool von Merkmalen (Module) konstruiert:

Sales and Communication sowie Business and Decisions

1313

Identifikation mit Beruf / Unternehmen

Belastbarkeit

KundenorientierungGewissenhaftigkeitKarriereorientierung

Soziale FlexibilitätEigenverantwortlichkeitKooperatives

Führungsverhalten

EinfühlungsvermögenAufgeschlossenheitKomplexes

Problemlösen

Einschätzung von Verkaufssituationen

AnspruchsniveauPlanungskompetenz

KontaktfähigkeitErgebnisorientierungAuffassungsgabe

1414

Die TestartenDie Testarten

Es wurden verschiedene Tests zur Erfassung der verschiedenen Konstrukte verwendet, teilweise auch nur Subskalen von bekannten Tests. Andere Tests wurden modifiziert.

1515

Die Tests im einzelnenDie Tests im einzelnen

Leistungstests (Planungskompetenz, Auffassungsgabe, Problemlösen)

Objektive Persönlichkeitstests = modifiziert(Anspruchsniveau)

Persönlichkeitstests (z.B. Aufgeschlossenheit) – fünfter Faktor des NEO - FFI

Projektive Testverfahren: Situationsfragebögen (situative Verhaltensaufgaben)

Rollenspiel Elemente aus Planspielen (Eigendynamik,

komplexes Regelerkennen)

1616

Steuerung der Steuerung der BearbeitungsgeschwindigkeitBearbeitungsgeschwindigkeitLeistungstests werden mit einer Zeitvorgabe, die

der Testperson vorgegeben wird, bearbeitet.

Allen anderen Aufgaben soll sich der Proband so intensiv wie möglich widmen, weil ein Bearbeitungsabbruch ein fehlendes Item zur Folge hätte.

Deshalb macht ein Feedbacksystem (Uhr) die Testperson auf deutliche Abweichungen von der durchschnittlichen Bearbeitungszeit aufmerksam. Zu kurze Bearbeitungszeiten werden mit Flüchtigkeit oder mangelnder Motivation interpretiert.

1717

StichprobeStichprobe

204 männliche Teilnehmer des Forschungsgebers, 24 – 60 Jahre alt (MW = 39)

Zugehörigkeitsdauer zum Unternehmen (N = 156): 68 Personen < 3 Jahre (=44%), 88 Personen > 3 Jahre (= 56%)

11,4% der Stichprobe waren Verkäufer, bevor sie für den Forschungsgeber tätig wurden

Die Untersuchten teilten sich auf 56 Generalagenturen in der Schweiz auf.

Das Untersuchungsinstrument wurde in drei Blöcke aufgeteilt: S&C1 S&C2, (n = 30);

B&D1 S&C1, (n = 81)B&D2 S&C2, (n = 93); und größeren

regionale Einheiten der Agenturen zugeordnet

1818

ReliabilitätReliabilität

Interne Konsistenz:Zwischen r = .64 und r = .91

Batteriereliabilität je nach Zusammenstellung:

Zwischen r = .70 und r = .80

Die Items wurden mit LCA auf stichprobenunabhängige Schwierigkeit geprüft – so kann adaptiv getestet werden

1919

ValiditätValidität

Von 189 der 204 getesteten Personen des Forschungsgebers wurden mittels Fragebogen Vorgesetztenurteile erhoben. Nach Ausschluss von Teilpopulationen reduzierte sich die Stichprobe auf n = 65 Mitarbeiter. Der Zusammenhang zwischen den Vorgesetztenurteilen und der vorhergesagten Leistung des Mitarbeiters liegt zwischen r = .73 und r = .81

2020

Validität: Korrelation der Validität: Korrelation der KriterienKriterien

Für alle betrachteten Mitarbeiter beträgt der Zusammenhang zwischen den Umsatzkennzahlen und den Vorgesetztenurteilen r = .28, für Mitarbeiter, die länger als 3 Jahre im Unternehmen beschäftigt sind, r = .65 n = 83

Vorhersage des Berufserfolgs anhand „monetärer Erfolgskennwerte“:

r = .64, n = 83

2121

Vorteile von pro factsVorteile von pro facts

• Hohe Durchführungs- und Auswertungsobjektivität

• Einheitlichere Vorgabe von situationsbezogenen Aufgaben als beim Planspiel

• Module theoriegeleitet und anhand von CI erstellt

2222

Vorteile von pro factsVorteile von pro facts

Modulartiger Aufbau ermöglicht individuelle Zusammenstellung relevanter Kompetenzen

Adaptives Testen möglich Sofort verfügbare Ergebnisse durch

automatische Auswertung Erstellung von Soll- Profilen möglich Auswahl der Normstichprobe möglich Aktualisierte Normstichproben per

Internet

2323

NormierungNormierung

Prozentrangnormen für: Studierende N = 1500 Versicherungsgesellschaften:

Schweiz N = 500

Venezuela N = 120

Bankenbereich N = 150 Einzelhandel N = 100 Chemiebranche/ Telekommunikation: N = 50

2424

Nachteile von pro factsNachteile von pro facts

Sozial erwünschte Antworten werden teilweise durch dichotome Alternativen nahegelegt

Der multimedia - Effekt beschränkt sich meist auf Bild und Text.

Personen mit wenig Erfahrung im Umgang mit Computern haben Nachteile gegenüber Personen mit häufigem PC-Umgang

Referat:Computergestütze Diagnostik, 3.2.2003, Referat:Computergestütze Diagnostik, 3.2.2003, S.Freund,Dozent: F. SpinathS.Freund,Dozent: F. Spinath

2525

LiteraturLiteratur

S. Etzel (1999): Multimediale, computergestützte diagnostische Verfahren: Neue Perspektiven für die Managementdiagnostik; Shaker Verlag, Aachen

B. Strauß & M. Kleinmann (Hrsg.) (1995): Computersimulierte Szenarien in der Personalarbeit; Verlag für Angewandte Psychologie, Göttingen

D. Dörner (1992): Die Logik des Mißlingens. Strategisches Denken in komplexen Situationen; Rowohlt Verlag, Reinbeck