2

Definitionen

Kompetenz

Lernobjekt

Exkurs Diplomarbeit

Adaptive Competence Testing in eLearning

Dösinger, G., & Albert, D. (2002).

Einführung

4 Schritte mit Beispielsverankerungen

Englisch- Kurs

CbKST- Kurs

Kritik und Verbesserungsvorschläge am CbKST- Kurs

Erstellungsmethoden einer Wissensstruktur

Aufgabe der PsychologInnen

Übersicht

3

sprachwissenschaftlich: (idealisierte) Fähigkeit des Sprechers einer Sprache, mit einer begrenzten Anzahl von Elementen und Regeln eine unbegrenzte Zahl von Äußerungen zu bilden und zu verstehen, sowie über die sprachliche Richtigkeit von Äußerungen zu entscheiden. DUDEN 7. Auflage - Fremdwörterbuch

Kompetenz - Definitionen

4

wirtschaftlich: Eine erworbene persönliche Fähigkeit, die Angestellten ein gleichbleibend hohes Leistungsniveau in einem bestimmten Berufsfeld ermöglicht.

http://www.onpulson.de/lexikon/kompetenz.htm

Kompetenz - Definitionen

5

psychologisch: „....die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können.“

Weinert 2001

Kompetenz - Definitionen

6

Taught competencies: Kompetenzen die gelehrt werden

Required competencies: Kompetenzen die erforderlich sind, um LO zu verstehen

Tested competencies: tatsächlich getestete Kompetenzen

Beispiel Bruchrechnen:

a/b : c/d =

a/b : c/d = a/b * d/cHockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Kompetenzen

7

Verständnisfrage I

Beispiel Bruchrechnen:

a/b : c/d =

a/b : c/d = a/b * d/c

Required, Tested, Taught –

Competencies??

8

“Learning Objects are defined (…) as any entity, digital or non- digital, which can be used, re- used or referenced during technology supported learning. Examples of technology- supported learning include computer- aided instruction systems, distance learning systems, and collaborative learning environments. Examples of Learning Objects include multimedia content, instructional content, learning objectives, instructional software and software tools, and persons, organizations, or events referenced during technology supported learning”

[LTSC (Learning Technology Standards Committee), 2000]

„any digital resource that can be reused to support learning“ (Wiley, 2001)

Lernobjekte

9

Diplomarbeit von KremserPilotstudie

12- 14jährige SchülerInnen

Englisch als Zweitsprache

Englischtest – ohne Einfluss auf Note

Ziel: Beschreibung des Englisch-Linguistischen Systems anhand der Wissensraumtheorie

Modifizierte Version des Tests von Peltzer- Karpf und Zangl 1998

Exkurs: Englisch als Zweitsprache

10

Lernobjekt: Lückentext

Exkurs – Beispiel: Englisch lernen Singular/Plural

11

a… häufiges Wort x… -s z… unregelmässige Pluralformen

b… seltenes Wort y… -es

Kremser, M.G. (2000)

Exkurs – Beispiel: Englisch lernen Singular/Plural

12

ENGLISCH KURS aus dem Internet

http://www.englisch-hilfen.de/grammer/plural.htm

Beispiel: Englisch Kurs

13

Vorteile

tolles Feedback

sowohl richtige als auch falsche Antwort wird gegeben, inkl. Erklärung die lernende Person weiß, wieviel Zeitaufwand nötig ist

Nachteile

das Programm führt die lernende Person nicht durch den Kurs

nicht adaptiv Bindestrich- und Leerzeichensetzung werden als Fehler gewertet Anhören der Vokabeln ist nicht möglich

Bilder fehlen (die lernende Person muß das Wort nicht schreiben können) Groß / Kleinschreibung egal ( Najavo – Najavos bei Eigennamen) Bei Test- Feedback fehlt die Erklärung Vokabelübersetzungsmöglichkeit fehlt

keine leichten Aufgaben, jedoch könnte dies auch zu Langeweile führen

Vor- und Nachteile

14

CbKST – Kurs im Internet

http://telearn.uni-graz.at:3536

Beispiel: CbKST-Kurs

15

Was ist unsere Aufgabe als PsychologInnen?

Mit ExpertInnen vom jeweiligen Wissensgebiet zusammenarbeiten und unser Wissen über kognitive Strukturen im menschlichen Gehirn Motivationale, Pädagogische, Testtheoretische und viele andere Aspekte

einbringen.

16

Wie können nun die Kompetenzen den LO´szugeordnet werden?

Doesinger und Albert (2002)

„Adaptive Competence Testing in eLearning“

Zuordnung

17

Zuordnung

„Adaptive Competence Testing in eLearning“Individualisierung wichtig bei eLearning

Adaptives Lernen schwierig im Bezug auf eLearning

Flexibles Lernen soll ermöglicht werden

Artikel konzentriert sich auf Diagnose von Vorwissen im Bezug auf Kompetenzen die erforderlich sind beim Problemlösen Bezieht sich auf Korossy mit der Kompetenz- Performanz- Theorie

Diese erlaubt adaptives und effizientes Testen aber auch Organisation des Lernprozesses

Doesinger und Albert (2002)

18

4 Schritte

4 Schritte

Identifikation und Präsentation von Lösungspfaden

Erlangung des Kompetenzraums

Kompetenz und Performanzebene miteinander in Beziehung setzen

Ermitteln der LösungsabhängigkeitenDoesinger und Albert (2002)

19

Identifikation und Präsentation von Lösungspfaden

Menge Q mit den Problemen q

Menge E mit Elementarkompetenzen ε

E repräsentiert Wissensbereich WAnalyse welche Pfade zur Lösung führen, WIE ein Problem gelöst werden kann

Verschiedene Schritte der Lösungspfade mit Elementarkompetenzen beschreiben

Doesinger und Albert (2002)

Step 1 – Theorie I

20

ε 1: Pluralbildung - s

ε 2: Pluralbildung - es

ε 3: - y - ies (inkl. Ausnahmen)

ε 4: - f - ves (inkl. Ausnahmen)

ε 5: unregelmässige Pluralformen

Step 1 – Beispiel Pluralbildung

21

q f(q)

q1 {ε1}

q2 {ε1, ε2}

q3 {ε1, ε2, ε3}

q4 {ε1, ε2, ε4}

q5 {ε1, ε2, ε3, ε5} v {ε1, ε2, ε4, ε5}

L = {{ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2, ε4}, {{ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5}}}

Step 1 – Beispiel EnglischTabelle 1

22

Erlangung des Kompetenzraums

Bei der Auflösung des Sets „L“ unter Vereinigung erhält man die Kompetenzstruktur K.

Wenn für alle Probleme nur ein Lösungsweg zugeordnet ist, ist die Kompetenzstruktur ein quasi-ordinaler Kompetenzraum der unter Vereinigung und Schnittmenge stabil ist

Doesinger und Albert (2002)

Step 2 – Theorie I

23

Gibt es mehrere alternative Lösungswege, ist die resultierende Wissensstruktur ein Kompetenzraum, der nur unter Vereinigung stabil ist

Die Teilmengen der Elementarkompetenzen die bei der Auflösung unter Vereinigung erhalten werden, nennt man Kompetenzzustände K

Sie sind Elemente der Kompetenzstruktur

Doesinger und Albert (2002)

Step 2 – Theorie II

24

Surmise Relation = Vermutungsrelation

a ≤ b kann man b lösen, kann man auch a lösen

Die Menge aller Wissenszustände entsprechend surmise relations nennt man (quasi-ordinalen) Wissensraum

Ein Wissensraum entsprechend surmise relations enthält die leere Menge (also kein Wissen) und die komplette Menge der Testitems (alle Items wissen) als Wissenszustand

Doesinger und Albert (2002)

Step 2 – Theorie III

25

K = {{}, {ε1}, {ε1, ε2}, {ε1, ε2, ε3}, {ε1, ε2,

ε4}, {ε1, ε2, ε3, ε5}, {ε1, ε2, ε4, ε5},

{ε1, ε2, ε3, ε4}, {ε1, ε2, ε3, ε4, ε5}}

Step 2 – Beispiel Englisch

26

Kompetenz und Performanzebene miteinander in Beziehung setzen

Interpretationsfunktion wird angewandtBildet jedes Item der Teilmenge von Kompetenzen die zum Lösen des Items erforderlich sind ab

Ein korrekte Lösung eines Items wird so interpretiert, dass der Kompetenzzustand einer Person, zumindest alle diese Kompetenzen bis zu diesem Item beinhaltet

Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Step 3 – Theorie I

27

Repräsentationsfunktion:Beinhaltet zu jeder Teilmenge von Kompetenzen die Teilmenge von Items, die von einer Person lösbar sind, die diese und nur diese Kompetenzen hat

Diese Funktion zeigt, wie die nicht- beobachtbaren Kompetenzen durch das Item-Lösungsverhalten sichtbar gemacht werden

Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003)

Step 3 – Theorie II

28

Die Teilmenge von Problemen, die durch die Repräsentationsfunktion zum Kompetenzzustand zugeordnet wird, nennt sich Performanz- Zustand

Der Performanzzustand ist ein Element der Performanzstruktur

Doesinger und Albert (2002)

Step 3 – Theorie III

29

q {}

{ε1

}{ε1,

ε2}{ε1, ε2,

ε3}{ε1, ε2,

ε4}{ε1, ε2, ε3,

ε5}{ε1, ε2 ε4,

ε5}{ε1, ε2, ε3,

ε4}{ε1, ε2, ε3,

ε4, ε5}

q1 ♦ • • • • • • •q2 ♦ • • • • • •q3 ♦ • • •q4 ♦ • • •q5 ♦ ♦ •

{}

{q1

}

{q1,

q2}{q1,

q2,

q3}

{q1,

q2,

q4}

{q1, q2,

q3, q5}{q1, q2,

q4, q5}{q1, q2,

q3, q4}{q1, q2,

q3, q4,

q5}

Tabelle 2

Step 3 – Beispiel Englisch

30

Ermittlung der Lösungsabhängigkeiten

In diesem Performanzraum kann man die Abhängigkeiten zwischen den Problemen, und daher die Ordnung auf der Problemmenge, erkennen.

Jeder Performanzzustand wird jenem Problem zugeordnet, welches genau diesem Performanzzustand entspricht.

Daraus wird jener Performanzzustand, der die minimalste Anforderung erfordert, extrahiert.

Doesinger und Albert (2002)

Step 4 – Theorie I

31

q p(K)q

q1{q1}, {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4},…

q2{q1, q2}, {q1, q2, q3}, {q1, q2, q4}, {q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2, q3, q4, q5}

q3{q1, q2, q3}, {q1, q2, q3, q5}, {q1, q2, q3, q4}, {q1, q2,

q3, q4, q5}

q4{q1, q2, q4}, {q1, q2, q4, q5}, {q1, q2, q3, q4}, {q1, q2,

q3, q4, q5}

q5{q1, q2, q3, q5}, {q1, q2, q4, q5}, {q1, q2, q3, q4, q5}

Tabelle 3

Step 4 – Beispiel Englisch

32

Verständnisfrage II

Wie schaut das dazupassende Hasse-Diagramm für die Surmise Relation der

Elementarkompetenzen aus??

33

ε1… Pluralbildung -s

ε2… Pluralbildung -es

ε3… y -ies

ε4… f -ves

ε5… unregelmässige Pluralformen

ε1

ε2

ε3 ε4

ε6

ε5

Step 4 – Beispiel Englisch

34

Steps anhand des CbKST – Kurses

http://telearn.uni-graz.at:3536

35

Set Theory

Order Theory

KST

EKST

Set-Test

Order-Test

KST-Test

EKST-Test

Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

CbKST

36

ε 1: LO - Set Theory

ε 2: TI - Set Theory

ε 3: LO - Order Theory

ε 4: TI - Order Theory

ε 5: LO - KST

ε 6: TI - KST

ε 7: LO - EKST

ε 8: TI - EKST

Step 1 – Beispiel CbKST

37

q f(q)

q1 {ε1}

q2 {ε1, ε2}

q3 {ε1, ε3}

q4 {ε1, ε3, ε4}

q5 {ε1, ε3, ε5}

q6 {ε1, ε3, ε5, ε6}

q7 {ε1, ε3, ε5, ε7}

q8 {ε1, ε3, ε5, ε7, ε8}

L = {{ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3,

ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}}

Step 1 – Beispiel CbKSTTabelle 4

38

K = {{}, {ε1}, {ε1, ε2}, {ε1, ε3}, {ε1, ε3, ε4}, {ε1, ε3, ε5}, {ε1, ε3, ε5, ε6}, {ε1, ε3, ε5, ε7}, {ε1, ε3, ε5, ε7, ε8}, {ε1, ε2, ε3, ε4, ε5}, {ε1, ε2,

ε3, ε4, ε5, ε6}, {ε1, ε2, ε3, ε4, ε5, ε6, ε7}, {ε1, ε2,

ε4,}, {ε1, ε2, ε4, ε6}, {ε1, ε3, ε4, ε6, ε8},…}

Step 2 – Beispiel CbKST

39

q {} {ε1} {ε1,

ε2}{ε1,

ε3}{ε1, ε3,

ε4,}{ε1, ε3,

ε5}{ε1, ε3,

ε5, ε6}{ε1, ε3,

ε5, ε7}{ε1, ε3,

ε5, ε7,

ε8}

{ε1,

ε2, ε3,

ε4, ε5}

{ε1, ε2,

ε3, ε4,

ε5, ε6}

{ε1, ε2,

ε3, ε4,

ε5, ε6,

ε7 }

{ε1, ε2,

ε4}{ε1, ε2,

ε4, ε6}{ε1, ε3,

ε4, ε6,

ε8}

…

q1 ♦ • • • • • • • • • • • • • …

q2 ♦ • • • • • …

q3 ♦ • • • • • • • • • …

q4 ♦ • • • • • • …

q5 ♦ • • • • • • …

q6 ♦ • • • • …

q7 ♦ • • …

q8 ♦ • …

{} {q1} {q1,

q2}{q1,

q3}{q1,

q3,

q4}

{q1,

q3,

q5}

{q1,

q3, q5,

q6}

{q1,

q3, q5,

q7}

{q1,

q3 q5,

q7,

q8}

{q1,

q2,

q3,

q4,

q5}

{q1,

q2, q3,

q4, q5,

q6}

{q1,

q2, q3,

q4, q5,

q6}

{q1,

q2,

q4}

{q1,

q2, q4,

q6}

{q1,

q3, q4,

q6,

q8}

…

Tabelle 5Step 3 – Beispiel CbKST

40

q p(K)q

q1 {q1}, {q1, q2}, {q1, q3}, {q1, q3, q4},…

q2 {q1, q2}, {q1, q2, q3}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5,

q6},…

q3 {q1, q3}, {q1, q3, q4}, {q1, q3, q5}, {q1, q3, q5, q6},…

q4 {q1, q3, q4}, {q1, q2, q3, q4, q5}, {q1, q2, q3, q4, q5, q6}, {q1, q2,

q3, q4, q5, q6, q7},…

q5 {q1, q3, q5},{q1, q3, q5, q6}, {q1, q3, q5, q7}, {q1, q3, q5, q7, q8},…

q6 {q1, q3, q5, q6}, {q1, q2, q3, q4, q5, q6}, {q1, q2, q3, q4, q5, q6, q7}, {q1, q2, q4, q6},…

q7 {q1, q3, q5, q7}, {q1, q3, q5, q7, q8}, {q1, q2, q3, q4, q5, q6, q7},…

q8 {q1, q3, q5, q7, q8}, {q1, q3, q4, q6, q8},…

Tabelle 6

Step 4 – Beispiel CbKST

41

Set Theory

Order Theory

KST

EKST

Set-Test

Order-Test

KST-Test

EKST-Test

Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

CbKST

42

Exkurs: Set-Theory

ε1… Mengenschreibweisen

ε2… Zugehörigkeit

ε3… Operationen

ε4… Operationen

ε5… Operationen

ε6… Operationen

ε7 … Transformation von mathematischen Rechenregeln

ε1

ε2

ε3 ε4 ε5 ε6

ε7

43Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

Lernobjekttypen – Beispiel:

LO_062

LO_034

LO_027

LO_004

TI_020

TI_002

44Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

Beispiel: karthesisches Produkt

LO_052

LO_010

LO_009

LO_008

TI_012TI_013

TI_014

TI_011

TI_015

TI_062

TI_061

45

Exkurs: Surmise Relations between Tests

(Brandt, Albert, Hockemeyer, 1999)

Neuester Stand der Wissenschaft:

Item oder Itemmenge in Test A, die Person lösen kann Person kann nicht-leere Teilmenge des Test B lösen

46

A B

a

A und B sind in einer Surmise Relation von A zu B

47

Surmise Relations between Tests

Ist es möglich, die Eigenschaften von SR zwischen Items zu SR zwischen Tests abzuleiten?

Jein!

48

Surmise Relations between Tests

Jein, weil...

… SR between Items sind quasi-ordinal, reflexiv und transitiv

… SR between Tests sind reflexiv, aber nicht unbedingt transitiv

49Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

Zur Erinnerung:Lernobjekttypen – Beispiel:

LO_062

LO_034

LO_027

LO_004

TI_020

TI_002

50

Surmise Relations between Items

LO_004 ist Vorraussetzung für LO_027LO_027 ist Vorraussetzung für LO_034…

UND

Für LO_062 ist LO_034 VorraussetzungFür LO_034 ist LO_027 Vorraussetzung…

Gilt auch für Testitems!

51

Set Theory

Order Theory

KST

EKST

Set-Test

Order-Test

KST-Test

EKST-Test

Grundkenntnisse Mathematik (≤, ≥,…)

required + taught required + tested

Zur Erinnerung: CbKST

52

Surmise Relations between Tests

Laut SR between Tests gilt das gleiche Prinzip auch bei Itemmengen

• Set Theory ist Vorraussetzung für Order Theory• Order Theory ist Vorraussetzung für KST...

UND

EKST baut auf KST aufKST baut auf Order Theory auf...

Gilt auch für Tests!

53

Kritik/Verbesserungsvorschläge CbKST

LO_013 (LO_019): “A relation R over a set X is antisymmetric if, for all a and b in X, if a is related to b and b is related to a, then a = b. In mathematical notation, this is:

a,b X: aRb bRa a=c“

http://telearn.uni-graz.at:3536

54

Kritik/Verbesserungsvorschläge CbKST

Übersichtliche Tabelle mit Zeichenerklärung (…)

LO_020: Extended Knowledge Space Theory    * dddd    * dddd    * dddd

LO_034: Figure 1 fehlt

55

Mögliche Methoden für die Erstellung einer Wissensstruktur

Analyse des Antwortverhaltens von PersonenGrosse Stichprobe nötig, alle Personen müssen alle Aufgaben bearbeiten unökonomisch, aufwendig

Expertenbefragung …um Abhängigkeiten im Lösungsverhalten herauszufinden

Analyse von Komponenten und FähigkeitenKognitive Anforderungen, die für die Lösung eines bestimmten Problems eines Wissensbereichs benötigt werden, werden bestimmt

http://telearn.uni-graz.at:3536

56

Brandt, S., Albert, D., & Hockemeyer, C. (1999). Surmise Relations between Tests - Preliminary Results of the Mathematical Modelling. Electronic Notes in Discrete Mathematics.

Dösinger, G., & Albert, D. (2002). Adaptive Competence Testing in eLearning. European Journal of Open,

Distance and E-Learning (EURODL).

Hockemeyer, C., Conlan, O., Wade, V., & Albert, D. (2003). Applying Competence Prerequisite Structures

for eLearning and Skill Management. Journal of Universal Computer Science, 9, 1428–1436.

Kremser, M.G. (2000). Component-based Construction of a Knowledge Space for Children’s Second

Language English Knowledge. An empirical investigation. (Diplomarbeit, Karl-Franzens-Universität

Graz, 2000)

Weinert, F.E. (2001). Vergleichende Leistungsmessung in Schulen – eine Umstrittene

Selbstverständlichkeit. IN: Weinert, F.E. (Hrsg.): Leistungsmessungen in Schulen, Beltz Verlag,

Weinheim – Basel, 17 – 31.

Wiley, D. A. (2001). Connecting learning objects to instructional design theory: a definition, a metaphor, and

a taxonomy [Internet]. Verfügbar unter:

Literaturverzeichnis

57

Literaturverzeichnis

http://www.elearning-reviews.org/topics/technology/learning-objects/2001-wiley-learning-object-instructional-design-theory.pdf [März 2007]

Duden. Fremdwörterbuch, 7.Auflage, Dudenverlag 2001

http;//www.englisch-hilfen.de/grammer/plural.htm

http://ltsc.ieee.org/wg12/

http://www.onpulson.de/lexikon/kompetenz.htm

http://telearn.uni-graz.at:3536

Zusatzliteratur:

Korossy, K. (1999). Qualitativ-strukturelle Wissesmodellierung in der elementaren Teilbarkeitslehre [1]. Zeitschrift für Experimentelle Psychologie, 46 (1), 28-52.

58

Danke für Eure

Aufmerksamkeit!