Evaluationsbericht

Ergebnisse der qualitativen und quantitativen

Evaluation der E-Portfolioarbeit im Rahmen

des Projektes TUDfolio

Erstellt und herausgegeben im Rahmen des

Projektes „TUDfolio“ durch Andrea Lißner,

Bernhard Franke und Lena Zauner

1

1 Sozio-demografische Daten

Einstiegsbefragung Abschlussbefragung

Geschlecht Geschlecht

N=46; 39 weiblich; 7 männlich N=28; 21 weiblich; 7 männlich

Alter Alter

N=48 N=27

Lehramtsstudierende Lehramtsstudierende

N=46; 28 ja; 18 nein N=29; 16 ja; 13 nein

An der Einstiegsbefragung nahmen 46 Studierende teil, was einer Rücklaufquote von 47 %

entspricht. Die Teilnehmenden sind überwiegend weiblich und mehr als die Hälfte studieren in

85%

15%

weiblich männlich

75%

25%

weiblich männlich

6,3%

22,9%

41,7%

29,2%

1984-1985 1986-1988

1989-1991 1992-1994

7%

26%

44%

22%

1983-1985 1986-1988

1989-1991 1992-1994

61%

39%

ja nein

55%45%

Ja Nein

2

Lehramtsstudiengängen, verschiedener Fächerkombinationen. Deutsch als Fach an allgemein-

und berufsbildenden Schulen ist mit 19 Nennungen am meisten vertreten. Dicht gefolgt von

Lebensmittel-, Ernährungs- und Hauswirtschaftswissenschaften und Geografie. Weiterhin

werden die Fächer Latein, Geschichte, Wirtschafts- und Sozialkunde, Griechisch, Italienisch,

Kunst, Religion, Gesundheit und Pflege, Englisch, Mathematik, Physik und Informatik genannt.

Hier ist zu erkennen, dass die untersuchte Studierendenschaft eine hohe Diversität ausweist.

3

2 Social Media Nutzung

Einstiegsbefragung (EB) Abschlussbefragung (AB)

Welche Social Media Tools nutzen

Sie bisher?

Welche Social Media Tools nutzen

Sie bzw. haben Sie schon einmal

benutzt?

N=46 N=28

100,0%

97,8%

86,7%

86,7%

80,4%

80,4%

77,8%

77,3%

68,9%

56,5%

52,3%

24,4%

23,9%

17,8%

17,8%

15,6%

13,3%

13,3%

11,4%

6,7%

6,7%

6,7%

2,2%

13,3%

13,3%

15,2%

19,6%

20,0%

22,7%

31,1%

41,3%

38,6%

55,6%

43,5%

55,6%

80,0%

82,2%

44,4%

62,2%

86,4%

42,2%

66,7%

93,3%

46,7%

40,0%

4,3%

2,2%

2,2%

9,1%

20,0%

32,6%

26,7%

2,2%

2,2%

42,2%

24,4%

2,3%

51,1%

26,7%

53,3%

60,0%

0% 20%40%60%80%100%

Wikis (z.B. Wikipedia) lesen

Lernmanagementsysteme (z.B.

OLAT/OPAL, Moodle)

Video Community Portale (z.B.

YouTube, MyVideo)

Online-Archive/Datenbanken

(z.B. Deutsche Digitale…

Content Sharing/ Cloud-Dienste

(z.B. Dropbox, Slideshare,…

Soziale Netzwerke mit privatem

Charakter (z.B. Facebook,…

Videotelefonie/VoIP (z.B. Skype,

Adobe Connect)

Internetforen

Chat/Instant Messaging (z.B.

Skype, ICQ)

Weblogs/Blogs lesen

Mailinglisten

E-Portfolio-Systeme (z.B.

Mahara, integrierte E-Portfolio…

Feedreader (z.B. Bloglines,

Google Reader)

Online-Texteditoren (z.B.

EtherPad, Google Docs)

Microblogs (z.B. Twitter,

Bleeper) lesen

Microblogs (z.B. Twitter,

Bleeper) schreiben

Literaturverwaltung (z.B.

Mendeley, Zotero)

Persönliche Startseiten (z.B.

Netvibes, iGoogle)

Weblogs/Blogs schreiben und

kommentieren

Soziale Netzwerke mit

wissenschaftlichem Charakter…

Soziale Netzwerke mit

beruflichem Charakter (z.B.…

Wikis (z.B. Wikipedia) bearbeiten

Virtuelle

Forschungsumgebungen (z.B.…

Social Bookmarking Services

(z.B. Delicious, Bibsonomy)

ja nein kenne ich nicht

100,0%

100,0%

100,0%

82,1%

75,0%

75,0%

71,4%

71,4%

60,7%

60,7%

57,1%

50,0%

35,7%

25,0%

14,3%

14,3%

14,3%

14,3%

10,7%

10,7%

10,7%

3,6%

17,9%

21,4%

25,0%

28,6%

28,6%

32,1%

39,3%

35,7%

50,0%

64,3%

71,4%

50,0%

71,4%

71,4%

85,7%

64,3%

67,9%

71,4%

60,7%

57,1%

100,0%

3,6%

7,1%

32,1%14,3%

14,3%

25,0%

21,4%14,3%

35,7%

39,3%

0% 20%40%60%80%100%

Wikis (z.B. Wikipedia) lesen

Video Community Portale (z.B.

YouTube, MyVideo)

Lernmanagementsysteme (z.B.

OLAT/OPAL, Moodle)

Online-Archive/Datenbanken

(z.B. Deutsche Digitale…

Content Sharing/ Cloud-Dienste

(z.B. Dropbox, Slideshare,…

Internetforen

Soziale Netzwerke mit privatem

Charakter (z.B. Facebook,…

Weblogs/Blogs lesen

E-Portfolio-Systeme (z.B.

Mahara, integrierte E-Portfolio…

Chat/Instant Messaging (z.B.

Skype, ICQ)

Videotelefonie/VoIP (z.B. Skype,

Adobe Connect)

Mailinglisten

Weblogs/Blogs schreiben und

kommentieren

Microblogs (z.B. Twitter,

Bleeper) lesen

Soziale Netzwerke mit

wissenschaftlichem Charakter…

Feedreader (z.B. Bloglines,

Google Reader)

Online-Texteditoren (z.B.

EtherPad, Google Docs)

Microblogs (z.B. Twitter,

Bleeper) schreiben

Literaturverwaltung (z.B.

Mendeley, Zotero)

Soziale Netzwerke mit

beruflichem Charakter (z.B.…

Persönliche Startseiten (z.B.

Netvibes, iGoogle)

Social Bookmarking Services

(z.B. Delicious, Bibsonomy)

Virtuelle

Forschungsumgebungen (z.B.…

Wikis (z.B. Wikipedia) bearbeiten

ja nein kenne ich nicht

4

Die Übersicht zeigt, dass Studierende Web 2.0-Anwendungen und –Dienste vorrangig

konsumieren und wenig selbst ins Netz stellen. Besonders erstaunlich ist, dass die Social-

Media-Nutzung nach der E-Portfolioarbeit sogar noch zurückgegangen ist, wie man zum Beispiel

an „Content Sharing/Cloud-Dienste“ oder „Social Bookmarking-Diensten“ sehen kann. Hier ist

allerdings auch vor einer zu hohen Verzerrung durch den geringeren Rücklauf in der

Abschlussbefragung auszugehen, weshalb ein direkter Vergleich vor und nach der E-

Portfolioarbeit kaum möglich ist.

3 Studienleistungen im Netz (EB)

N=46

In der Einstiegsbefragung wurden die Studierenden gefragt, ob Sie Ihre Studienleistungen ins Netz

stellen würden und wie öffentlich sie dies tun möchten. Dabei zeigte sich, dass die Befragten

grundsätzlich schon an einer Bereitstellung der eigenen Leistungen interessiert sind, unter der

Bedingung, dass sie selbst entscheiden können, wer diese Leistungen abrufen kann. Zu den

Gründen für die Zurückhaltung wurden folgende Aspekte angeführt:

4,3%

65,2%

26,1%

4,3%

0,0% 20,0% 40,0% 60,0% 80,0%

Ich möchte meine Studienleistungen niemandem

zur Verfügung stellen.

Ich möchte meine Studienleistungen nur

ausgewählten Personen zur Verfügung stellen.

Ich habe keine Bedenken, meine

Studienleistungen innerhalb meiner Hochschule

zur Verfügung zu stellen (über OPAL, über Intranet

usw.), solange dies nicht öffentlich ist.

Ich habe keine Bedenken, meine

Studienleistungen öffentlich ins Internet zu stellen.

5

Diese Frage wurde nur denjenigen angezeigt, die nicht „Ich habe keine Bedenken, meine

Studienleistungen öffentlich ins Internet zu stellen.“

Es zeigte sich, dass der bedeutendste Grund, die Angst vor Datenmissbrauch ist. Insgesamt 87%

stimmen dem Item „Ich möchte nicht, dass mich betreffende Daten im Netz kursieren“ zu bzw.

völlig zu. Weitere bedeutende Gründe sind die Sorgen, dass die Leistungen öffentlich kritisiert

werden und der Vorbehalt gegenüber Kommilitonen, die sich unredlich der Ergebnisse bedienen

und diese nicht zitieren.

4 OPAL Nutzung (EB)

N=46

22%

22%

52%

12,9%

9,4%

6,3%

47%

31%

35%

32,3%

9,4%

21,9%

22%

28%

3%

38,7%

31,3%

28,1%

9%

9%

10%

12,9%

31,3%

34,4%

9%

3,2%

18,8%

9,4%

0% 20% 40% 60% 80% 100%

...ich nicht möchte, dass andere

"abschreiben"/kopieren ohne zu zitieren.

...ich mir Sorgen mache, dass jemand meine

Leistungen öffentlich kritisiert.

... ich nicht möchte, dass mich betreffende Daten

im Netz kursieren.

... ich nicht möchte, dass KommilitonInnen meine

Leistungen kennen.

... ich denke, dass sich damit schlechtere Job-

/Karrierechancen habe.

... ich mit den zur Verfügung stehenden

Werkzeugen/Tools nicht umgehen kann/möchte.

Ich möchte meine Studienleistungen nicht veröffentlich zur Verfügung

stellen, weil ...

stimme völlig zu stimme eher zu unentschieden stimme eher nicht zu stimme nicht zu

0,0%

67,4%

26,1%

6,5%

0,0% 20,0% 40,0% 60,0% 80,0%

Bisher keine Nutzung (keine der OPAL-Funktionen

wurde bisher genutzt)

Eingeschränkte Nutzung (z. B.: nutze OPAL nur

zum Download von Materialien, zur

organisatorischen Information über

Lehrveranstaltung, u.s.w.)

Regelmäßige Nutzung (z. B.: nutze OPAL für fast

alle Lehrveranstaltungen, arbeite regelmäßig mit

der Foren-, E-Mail-, Abgabe- und/oder Test-

Funktion, u.s.w.)

Intensive Nutzung (z. B.: habe bereits selbst Kurse

erstellt, Nutzung der persönlichen Ablage als

cloudbasierten Speicher, intensive Nutzung von

Foren und Wikis, u.s.w.)

6

Die Ergebnisse der Einstiegsbefragung zeigen, dass die Studierenden im Vorfeld eher

konsumierend mit OPAL gearbeitet haben. Die bedeutendste Aktivität ist das Herunterladen von

Materialien und Beziehen von Informationen.

5 Zufriedenheit mit OPAL

Einstiegsbefragung Abschlussbefragung

N=46 N=27

Vor und nach der E-Portfoliopilotierung wurde nach der Zufriedenheit mit OPAL gefragt. Vorher

gaben 67,4% an, zufrieden mit OPAL zu sein. Zu berücksichtigen ist dabei die eher

eingeschränkte Nutzungsintensität (siehe Punkt 4). Auch nach der E-Portfolioarbeit geben

67,8% an zufrieden mit dem System zu arbeiten. Diese Nutzer arbeiteten nur sehr intensiv mit

der Lernplattform.

In den qualitativen Ergebnissen zeigen sich anders gelagerte Aussagen. Im Gespräch und in den

Freitexten geben die Studierenden an, dass sie unzufrieden mit der E-Portfoliofunktionalität im

OPAL sind und dieses System nicht noch einmal für die E-Portfolioarbeit nutzen möchten.

Hierfür sind verschiedene Erklärungen denkbar. Zum einen antworteten in der

Abschlussbefragung nur noch 27 Personen, wobei anzunehmen ist, dass dies diejenigen sind,

die mit Motivation dabei geblieben sind und sich mit den Problemen des Systems arrangiert

haben und deshalb zum Positiven tendieren. Zum anderen könnte es sein, dass die

Studierenden durch das Projekt OPAL besser kennenlernten und von der Vielseitigkeit und

Vielfalt der Funktionalitäten des Lernmanagementsystems insgesamt überzeugt wurden,

weshalb sie es deshalb insgesamt positiv einschätzten.

2,2% 0% 3,6% 7,1%

∑ 67,4% ∑ 32,6% ∑ 67,8% ∑ 32,1%

7

6 Erfahrungen mit der E-Portfolioarbeit

Einstiegsbefragung: Vorerfahrungen mit dem E-Portfolio

N=46

Die Grafik zeigt, dass die Vorerfahrungen mit der E-Portfolioarbeit gegen 0 tendieren. In absoluten

Zahlen ist es nur ein/e Studierende/r, die/der bereits ein aktives E-Portfolio führt. Daher ist davon

auszugehen, dass die Studierenden noch unvoreingenommen sind und alle Details vom

Projektteam erklärt werden müssen.

Abschlussbefragung: Einstellungsmessung

N=27

Rückblickend auf die Portfolioarbeit reflektieren die Studierenden ihre Erfahrungen. Mehrheitlich

geben die Befragten an, sich durch die E-Portfolioarbeit intensiver mit dem Lehrstoff

auseinandergesetzt und sich die Inhalte durch das Reflektieren besser eingeprägt zu haben. Das

Feedback in der Gruppe wurde zurückhaltend positiv eingeschätzt, wobei auch aus den

67,4%

26,1%

4,3%

2,2%

0,0% 20,0% 40,0% 60,0% 80,0%

Nein, ich hatte noch nie davon gehört.

Nein, aber ich hatte bereits davon gehört.

Ja, ich habe bereits im Rahmen meiner

schulischen, beruflichen oder akademischen Aus-

und Weiterbildung mit E-Portfolios gearbeitet.

Ja, ich führe für mein persönliches

Wissensmanagement ein sehr aktives E-Portfolio.

78%

59%

15%

19%

11%

30%

37%

37%

4%

4%

22%

22%

7%

7%

11%

19%

15%

4%

0% 20% 40% 60% 80% 100%

Durch die E-Portfolio-Arbeit habe ich mich

intensiver mit den einzelnen Themen

auseinandergesetzt.

Durch das Reflektieren des Gelernten habe ich mir

die Inhalte besser eingeprägt.

Das Feedback in der Lerngruppe hat mir geholfen,

Fehler auszubessern, bevor ich meine Arbeit zur

Bewertung eingereicht habe.

Ich nehme meinen persönlichen Lernprozess jetzt

viel bewusster wahr als vorher.

stimme zu stimme eher zu neutral stimme eher nicht zu stimme nicht zu

8

Freitextantworten hervorging, dass die Studierenden sich mehr und intensiveres, auch kritischeres

Feedback gewünscht hätten.

Die bewusstere Wahrnehmung des Lernprozesses spielt eine nicht ganz so wichtige Rolle. Grund

dafür können Fragebogeneffekte sein: Die Formulierung „viel bewusster“ lässt auf eine etwas

zurückhaltendere Zustimmung schließen. Des Weiteren war dieses Item das letzte der vier positiv

gerichteten Item, bei dem man hin und wieder dazu tendiert die sehr großzügige Zustimmung zu

den anderen drei Items ein wenig abzuschwächen. Generell ist darauf hinzuweisen, dass Befragte

dazu tendieren, positiv zu antworten (Akquieszenz)1.

Des Weiteren waren auch zwei negativ gerichtete Items vorgegeben, welche aber tendenziell mit

geringerer Zustimmung bewertet wurden. Zum einen wurde nach dem Aufwand von Einarbeitung

in die Technik und Lösung technischer Probleme gefragt, zum anderen nach der Einstellung

gegenüber dem häufigen Reflektieren. Mehr als die Hälfte der Befragten gab an, dass die

technische Arbeit keinen größeren Aufwand bedeutete als die inhaltliche Arbeit, bzw. dass dieser

etwa ähnlich hoch war. Die Ergebnisse des zweiten Items zeigen, dass die häufigen Reflexionen

mehrheitlich nicht als Belastung wahrgenommen werden.

1 Vgl. Dieckmann, A. (2011): Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen.

Hamburg: rowohlt, S. 452

15%

11%

11%

30%

37%

22%

33%

33%

4%

4%

0% 20% 40% 60% 80% 100%

Das ständige Verfassen von Reflexionen hat mich

genervt.

Ich habe mehr Energie in das Bezwingen der

Technik als in die inhaltliche Arbeit gesteckt.

stimme zu stimme eher zu neutral stimme eher nicht zu stimme nicht zu

9

7 Gesamteindruck von der E-Portfolioarbeit

Einstiegsbefragung Abschlussbefragung

Die Studierenden hatten vor Beginn der E-Portfolioarbeit einen positiven Eindruck und gingen

mit einer motivierten Einstellung an die E-Portfolioarbeit heran. Etwa ein Viertel der

Teilnehmenden hatte im Vorfeld keine Idee, ob die E-Portfolioarbeit positiv oder negativ

einzuschätzen ist.

Im Nachgang gaben 41% an, dass sich der positive Eindruck, den sie zu Beginn hatten, bestätigt

hat. Ein Drittel der Befragten ziehen ebenso ein positives Fazit, obwohl sie vor Beginn der Arbeit

unentschlossen gegenüber der E-Portfolioarbeit waren. Etwa ein Viertel ist zieht nach der E-

Portfolioarbeit ein negatives Fazit.

Abschlussbefragung: E-Portfolios für das zukünftige Lern- und Wissensmanagement

57%

20%

24%

Ich habe bisher einen positiven Eindruck von der E-Portfolio-Arbeit in der

Lehrveranstaltung. Das E-Portfolio als Methode und Medium erscheint mir

sinnvoll und ich bin gespannt, wie sich die weitere Arbeit gestalten wird.

Ich habe bisher einen negativen Eindruck von der E-Portfolio-Arbeit in der

Lehrveranstaltung. Ich bin skeptisch, ob das E-Portfolio einen Mehrwert für

mich bringt.

Ich weiß nicht.

41%

15%

33%

11%

Mein positiver Eindruck, den ich zu Beginn der E-Portfolio-Arbeit

hatte, hat sich bestätigt. Ich ziehe ein positives Fazit aus dem

Projekt.

Obwohl ich am Anfang einen positiven Eindruck von der E-Portfolio-

Arbeit hatte, muss ich im Nachgang sagen, dass mir die Arbeit keine

Vorteile gebracht hat.

Mein negativer Eindruck, den ich zu Beginn der Portfolio-Arbeit hatte,

hat sich bestätigt. Ich kann mit der E-Portfolio-Arbeit nichts anfangen.

Mein negativer Eindruck, den ich zu Beginn hatte, hat sich nicht

bestätigt. Die E-Portfolio-Arbeit hat sich für mich als hilfreich

erwiesen.

Vorher hatte ich keine Idee, ob die E-Portfolio-Methode für mich

geeignet ist. Nun ziehe ich ein positives Fazit und muss sagen, dass

mir diese Methode sehr geholfen hat.

Vorher hatte ich keine Idee, ob die E-Portfolio-Methode für mich

geeignet ist. Nun habe ich erkannt, dass die Methode nichts für mich

ist.

18,5%

22,2%

48,1%

11,1%

0,0%

0,0% 20,0% 40,0% 60,0%

Ja, ich möchte weiterhin in OPAL mein E-Portfolio

weiterführen.

Ja, ich möchte mir aber dafür aber ein anderes

Werkzeug, zum Beispiel einen Blog, suchen.

Ja, ich werde an dem Thema dranbleiben, kenne

aber derzeit kein gutes Werkzeug.

Nein, E-Portfolio-Arbeit ist nichts für mich.

Ich halte generell nichts von der Methode und

würde auch jedem davon abraten, ein E-Portfolio…