Lehrstuhl für Betriebs- und Organisationspsychologie

Webbasierte self-assessments zur Studienberatung

Möglichkeiten und Grenzen

Diplom-Psychologe

Alexander Zimmerhofer

Hochschulkurs „Hochschulauswahlverfahren“ – 28.10.2005

- 2 -

Zum Auftakt

Studienfachwahl…(einige Zitate aus Gesprächen mit Schülerinnen und Schülern,

sowie mit Studierenden im ersten Semester)

… ist ein Suchen im Heuhaufen.

… bestimmt die Zukunft.

… basiert auf subjektiven Theorien.

… endet mit Hoffen und Bangen.

- 3 -

Inhaltsverzeichnis

- Ausgangspunkt - Probleme der Studienfachwahl

- Was sind „self-assessments“?

- ein Blick in die Zukunft - ein ideales Self-Assessment

- erste Schritte dorthin - derzeitige Projekte

- Was kann ein „self-assessment“ leisten, was nicht?

- freie Diskussion

- 4 -

Eine gute Studienfachwahl basiert

auf Zusammenspiel

von Anforderungen

und dem eigenen

Eignungs- und Neigungsprofil…

- 5 -

Anforderungendes Studienfaches D

Passung von Person und Studienfach

Anforderungendes Studienfaches A

Anforderungendes Studienfaches B

Anforderungendes Studienfaches C

Eignung & Neigung

- 6 -

… und das Verhältnis zum Studienerfolg

Anforderungendes Studienfaches D

Eignung & Neigung

Studienerfolg

Umwelt - Personen - FIT

- 7 -

Genau dieser Personen-Umwelt-Fit (oder auch

Personen-Job-Fit) sollte die Grundlage für eine Studienfachwahl sein.

Doch wie funktioniert

die Studienfachwahl wirklich?

- 8 -

Zahlreiche Faktoren beeinflussen (Image des Faches, Studienort, Berufschancen etc.) die endgültige Studienfachwahl, die nichts mit der Eignung und Neigung für das Fach zu tun haben (Simeaner, Röhl

& Bargel, 2001; Stemmler, 2005).

Dennoch wird das Interesse für ein Fach zumindest subjektiv von Erstsemestern als entscheidend gewertet.

Doch: Wissen die Personen überhaupt genug über die Studiengänge?

Simeaner, H., Röhl, T. & Bargel, T. (2004). Studiensituation und Studierende - Datenalmanach - Studierendensurvey 1983 - 2001. Konstanz: Universität Konstanz, Fachbereich Geschichte und Soziologie.

Stemmler, G. (2005). Studierendenauswahl durch Hochschulen: Ungewisser Nutzen. Psychologische Rundschau, 56, 125-127.

- 9 -

Informationen über die Anforderungen

Weit über die Hälfte der Studienanfänger ist nicht hinreichend über

Studienfach und Hochschule informiert (Lewin et al., 2002).

Die Studienberatung (wenn überhaupt genutzt) bietet direkte Informationen (Hard-Facts) über die Studiengänge (Voraussetzungen, Studieninhalte, Berufsaussichten, Berufsbild), aber….

Die Übersetzungsarbeit in „Was muss ich dafür leisten?“ und „Kann ich das?“ wird hingegen selten abgenommen.

Zusätzlich ist die Informationsfülle (natürlich auch aufgrund der hohen Anzahl unterschiedlicher Studiengänge) nur schwer zu durchschauen.

Lewin, K., Heublein, U., Schreiber, J., Spangenberg, H. & Sommer, D. (2002). Studienanfänger im Wintersemester 2000/2001: Trotz Anfangsschwierigkeiten optimistisch in die Zukunft. Hannover: HIS Hochschul-Informations-System GmbH.

- 10 -

Studienwahlen mit geringem Personen-Umwelt-Fit führen verstärkt zu

– verminderter Studienzufriedenheit, – schwächeren Studienleistungen – und mit höherer Wahrscheinlichkeit zum Studienabbruch

(Brandstätter, Farthofer & Grillich, 2001; Brandstätter, Grillich & Farthofer, 2002; Hell, Trapmann,

Weigand, Hirn & Schuler, 2005; Rindermann & Oubaid, 1999).

Brandstätter, H., Farthofer, A. & Grillich, L. (2001). Die Stabilität der Studienwahl als Funktion von Interessenkongruenz, Selbstkontrolle und intellektueller Leistungsfähigkeit. Psychologie in Erziehung und Unterricht, 48, 200-218.

Brandstätter, H., Grillich, L. & Farthofer, A. (2002). Studienverlauf nach Studienberatung. Zeitschrift für Pädagogische Psychologie, 16 (1), 15-28.Hell, B., Trapmann, S., Weigand, S., Hirn, J.O. & Schuler, H. (2005). Die Validität von Prädiktoren des Studienerfolgs – eine Metaanalyse. Vortrag auf

der 4. Tagung der Fachgruppe Arbeits- und Organisationspsychologie der Deutschen Gesellschaft für Psychologie in Bonn. Rindermann, H. & Oubaid, V. (1999). Auswahl von Studienanfängern durch Universitäten - Kriterien, Verfahren und Prognostizierbarkeit des

Studienerfolgs. Zeitschrift für Differentielle und Diagnostische Psychologie, 20 (3), 172-191.

- 11 -

Zwei Drittel der Studienabbrecher in den ersten beiden Hochschulsemestern geben Gründe an, die durch Beratung und Information über Eignung und Studiengestaltung beeinflussbar sind (Wissenschaftsrat, 2004).

– Zum Beispiel:- unzureichende Informationen über Studieninhalte („Ich wusste nicht,

dass soviel Mathe im Maschinenbau gefordert ist.“)

- unzureichende Informationen über sich selbst („Ich wusste nicht, dass mir so viel wichtiger Schulstoff in der Mathematik fehlt.“)

- unzureichendes Matching („Ich wusste nicht, dass ich die Anforderungen im Bereich der Mathematik leider nicht erfüllen kann!“)

Wissenschaftsrat (2004). Empfehlungen zur Reform des Hochschulzugangs [On-line]. Verfügbar unter: http://www.wissenschaftsrat.de/texte/5920-04.pdf [18. April 2004].

- 12 -

Was sind „self-assessments“

und

können diese helfen?

- 13 -

Was sind Self-Assessments?

Google hat 4,6 Millionen Seiten mit dem Schlagwort „self-assessment“ indiziert

Unterschiedlichste Treffer- „If I drink alcohol, how much is too much?“- „Am I an entrepreneur?“- „The love test“

Die Übersetzung aus dem Englischen…

Selbst (self) + Beurteilung (assessment)- unterstützt die Selbst-Beurteilung- allerdings auch: Basiert auf einer Selbst-Beurteilung

(Teilnehmer beschreibt sich selbst)

- 14 -

Was sind Self-Assessments?

- Instrumentarium (psychometrische Testverfahren), das eigenständig durchgeführt wird (self-directed), teilweise auch selbst ausgewertet wird

- Baustein zur Unterstützung einer willentlichen und wohlüberlegten Entscheidung (z.B. für die Studienfachwahl)

- Die Teilnahme ist freiwillig.

- Die Nicht-Teilnahme hat keine - über den Wegfall des Nutzens hinausgehenden - negativen Konsequenzen.

- Eine allgemein verständliche Rückmeldung ist integraler Bestandteil des Systems.

- Die Rückmeldungen stehen zur persönlichen Weiterentwicklung zur Verfügung und sind für Dritte (z.B. Arbeitgeber oder Hochschule) nicht bzw. nur anonymisiert oder auf Initiative des Ratsuchenden zugänglich.

Zimmerhofer, A. & Hornke, L. F. (2005). Konzeption einer webbasierten Studienberatung für Interessierte der Studienfächer Informatik, Elektrotechnik und Technische Informatik. In K. Renner, A. Schütz & F. Machilek (Hrsg.), Internet und Persönlichkeit (S. 269-284). Göttingen: Hogrefe.

- 15 -

Ein Blick in die Zukunft – das ideale Self-Assessment

explizite Informationen über Studiengänge

Texte über Studieninhalte

Portraits der Studierenden

Video-mitschnitte

Linksammlung

Portraits der Absolventen…

Daten

ban

kd

er Stu

dien

gän

ge

nationales, fächerübergreifendes

self-assessment

Ingenieur-wissenschaften

Sprachen

Naturwissen-schaften

Jura

…

Nach demSelf-Assessment

„explizite“Information

- 16 -

Ingenieur-wissenschaften

Sprachen

Naturwissen-schaften

Jura

…

kognitive Fähigkeiten(Intelligenz)

nicht-kognitive Fähigkeiten(Persönlichkeit, Motivation,

Interesse)

- dieser Bereich kann meist in der Studierendenauswahlnicht abgebildet werden -

- 17 -

Kleine Übersicht derzeitigerProjekte

Derzeitige Projekte zur Entwicklung von self-assessments (Beispiele)

- Universität Hamburg (Psychologie)- http://www.rrz.uni-hamburg.de/pion16/studienberatung/virtuelle_studienberatung.htm

- LMU München (Informatik)- http://www.pms.ifi.lmu.de/eignungstest/

- TU Hamburg-Harburg (Ingenieurwissenschaften)- http://selbsttest.tu-harburg.de/?selbsttest=Selbsttest (z.Zt. deaktiviert)

- Career Counseling for Teachers (allgemein Lehramt)- http://www.cct-germany.de/

- … und verschiedene Projekte an der RWTH Aachen (techn. Studiengänge)(die im Folgenden genauer vorgestellt werden)

- 18 -

Derzeitige Projekte – Universität Hamburg „Virtuelle Studienberatung“

vermittelt sehr anschaulich, was es die Studierenden der Psychologie in Hamburg erwartet…

• Themenbereiche sind modular sortiert (z.B. Englisch, Mathe, Studienplanung etc.).

• Innerhalb der Module gibt es Informationen, Übungen (inkl. Feedback) und Reflexionen.

• Schwerpunkt liegt dabei auf Vermittlung institutionsbezogener Informationen.

• Themenbereiche sind modular sortiert (z.B. Englisch, Mathe, Studienplanung etc.).

• Innerhalb der Module gibt es Informationen, Übungen (inkl. Feedback) und Reflexionen.

• Schwerpunkt liegt dabei auf Vermittlung institutionsbezogener Informationen.

Warnung

Studienplanung

Forschung

Kommunikation

Mathematik

Englisch

Studienkultur

Berufswelt

Forschung

Feedback

Reflexion

Übungen

Information

- 19 -

Derzeitige Projekte – Universität Hamburg II

• „virtuelle Reise“ durch das Institut

• Videoaufnahmen mit Professoren, Dozenten, Studierenden

• „virtuelle Reise“ durch das Institut

• Videoaufnahmen mit Professoren, Dozenten, Studierenden

- 20 -

Derzeitige Projekte – Universität Hamburg III

kleinere Aufgabensammlung

z.B. Englischaufgaben

kleinere Aufgabensammlung

z.B. Englischaufgaben

- 21 -

Derzeitige Projekte – Universität Hamburg IV

Auch ein zeitnahes Feedback ist enthalten.Auch ein zeitnahes Feedback ist enthalten.

- 22 -

Derzeitige RWTH-Projekte – Self-Assessment für Informatik & E-Technik

Ein webbasiertes self-assessment für Informatik und Elektrotechnik ist seit 2002 in der Entwicklung.

Es ist Bestandteil der Zielvereinbarung der RWTH Aachen mit dem Land NRW aus dem Jahr 2002

– Verbesserung der Studienberatung im Bereich der Informatik– Senkung der Abbrecherquote– Marketingwirkung

http://www.assess.rwth-aachen.de

- 23 -

Allgemeiner Entwicklungsablauf

1. AnforderungsanalyseWas müssen überhaupt Studierende des Faches leisten, um erfolgreich zu sein?

2. TestkonstruktionÜbersetzungsarbeit der Anforderungs-dimensionen in Testaufgaben

3. TestoptimierungenTestverkürzungen etc.

4. Normierung

5. ValidierungKlappt die Vorhersage?

nach Misserfolgen am Ball bleiben

Handlungsorientierung nach Misserfolg

10 % der bisherigen Teilnehmer sind…

- 24 -

Derzeitige Projekte – Self-Assessment für Informatik & E-Technik

mathematischeFähigkeiten

11 Items

Fähigkeit zum logischen Schlussfolgern

11 Items

Matrizentest11 Items

Interesse60 Items

extrinsische Lernmotivation

10 Items

Selbst-wirksamkeit

10 Items

Handlungs-kontrolle

30 Items

nicht kognitivkognitiv

- 25 -

Beispiele Logik

Aufgaben aus dem kognitiven Bereich der Testbatterie

Aufgaben aus dem kognitiven Bereich der Testbatterie

- 26 -

Beispiele Matrizen

Ebenfalls aus dem kognitiven Testbereich:

hier Regeln finden und Regeln anwenden

Ebenfalls aus dem kognitiven Testbereich:

hier Regeln finden und Regeln anwenden

- 27 -

Beispiel Handlungskontrolle

Nicht-kognitiver Bereichzum Lern- und

Leistungsverhalten

Nicht-kognitiver Bereichzum Lern- und

Leistungsverhalten

- 28 -

Was bietet das Feedback ?

- Erklärungen zum Aufbau des Self-Assessments

- Anzahl der richtigen Antworten

- Vergleich der Ergebnisse mit Normgruppe (wie haben andere Teilnehmer abgeschnitten?)

- verbale Einschätzung

- Erklärung von ausgewählten idealen Lösungswegen

- grafische Aufbereitung der Ergebnisse

- Verweise auf weitere Internetseiten (Fachstudienberater, Dokumente der Fachschaft etc.)

- Schwerpunkt: Informationen über das Individuum, nur indirekt über die Institution

Komponenten des Feedbacks

- 29 -

Ausschnitte Feedback I

verbale Einführung in die etwa 10-seitige Rückmeldung

verbale Einführung in die etwa 10-seitige Rückmeldung

- 30 -

Ausschnitte Feedback II

grafische Aufbereitung der Ergebnisse

grafische Aufbereitung der Ergebnisse

- 31 -

Ausschnitte Feedback III

LinksammlungLinksammlung

- 32 -

Akzeptanz

Zugriffszahlen 2004 – 65.000 Besucher– 3.371 komplette Beratungsleistungen

Eine Analyse der Akzeptanz ergab eine gute Gesamtbewertung (71,8%).

49,7% der Personen haben ihrer Meinung nach durch das Beratungssystem wesentlich mehr Informationen für die Studienentscheidung erhalten.

Mehr als zwei Drittel der Personen planen, das Beratungssystem Freunden weiterzuempfehlen.

- 33 -

Kriteriumsvalidität

0,364

0,5360,504

0

0,1

0,2

0,3

0,4

0,5

0,6

Mu

ltip

les

R

(Kor

rela

tion

Prä

dikt

oren

- K

riter

ium

)

+ KognitivAbitur

+ Nicht-

Kognitiv

Verbesserung der Vorhersage durch kognitive und nicht-kognitive Testverfahren

Verbesserung auch über die Abiturnote hinaus

Vorhersage durch Abitur alleine weniger treffgenau als die der Testbatterie

Zimmerhofer, A. & Hornke, L. F. (2005). Kriteriumsvalidierung eines webbasierten Studienberatungssystems für Informatik und Elektrotechnik. Beitrag zur 8. Arbeitstagung der Fachgruppe für Differentielle Psychologie, Persönlichkeitspsychologie und Psychologische Diagnostik an der Philipps-Universität Marburg am 26. September 2005.

- 34 -

Ausblick Self-Assessment

Umstellung auf eine neue technische Plattform, die einem Content-Management-System ähnelt (bequemer, leichter anpassbar, flexibler)

Neuentwicklung eines self-assessments für internationale Studieninteressierte für den DAAD / TU9

- umfassende Anforderungsanalyse an den TU9-Hochschulen per Workshops & Fragebogen

- englische und deutsche Testversionen, modifizierbar / erweiterbar durch die einzelnen Fachbereiche der TU9

- besondere Berücksichtigung der Fairness der Testverfahren

- 35 -

Möglichkeiten

self-assessments tragen dazu bei, sich mehr mit den eigenen Neigungen und Eignungen auseinander zu setzen.

Sie sollen Unentschlossenen Informationen über die eigene Passung liefern.

Self-assessments lassen Unterschiede der Studienfächer gut aufbereitet darbieten und die differentielle Eignung herausarbeiten.

Sie bieten Selbstselektion anstelle von Fremdselektion.

Self-assessments sind – richtig konstruiert – genauso valide wie Auswahlverfahren. Eine Vorhersage von Studienleistungen ist also möglich.

Die Entwicklungs- und Wartungskosten für self-assessments sind im Vergleich zu Auswahlverfahren geringer, da sie nicht jedes Semester erneuert werden müssen.

- 36 -

Grenzen

Die endgültige Entscheidung muss durch die Person selbst getroffen werden. Sie sollte nicht komplett durch ein Computersystem vorgenommen werden.

Die Überlastung bestimmter Fächer kann nur bedingt verhindert werden. Somit kann ein Self-Assessment die Studierendenauswahl nicht ersetzen.

Die Steuerungsfunktion (halten sich die Studieninteressierten an die Empfehlung?) von self-assessments muss erst nachgewiesen werden.

- 37 -

Ausblick

Die Studierendenauswahl kann nicht das leisten, was self-assessments leisten und vice versa.

Es muss ein ganzheitliches Konzept entwickelt werden, Selbst- und Fremdselektion zu vereinbaren. Sinnvoll wäre daher eher eine Platzierung der Studieninteressierten statt eine reine Auswahl!

Ratsam wäre es, ein nationales System zu entwerfen, und nicht an jeder Hochschule viele Fachbereiche an eigenen Systemen arbeiten zu lassen (Ähnliches gilt übrigens auch für Studierendenauswahl).

- 38 -

Ende

Vielen Dank für

Ihre Aufmerksamkeit

http://www.assess.rwth-aachen.de

http://www.global-assess.rwth-aachen.de