Lisa Beutelspacher, Düsseldorf Evaluation des E-Portfolio ... · PDF fileLisa...

Lisa Beutelspacher, Düsseldorf

Evaluation des E-Portfolio-Systems Mahara

Lehr- und Lernportfolios bieten Lehrenden und Lernen-den Möglichkeiten der Selbstdarstellung, Fortschritts-dokumentation oder der Leistungsbewertung. Die soge-nannten E-Portfolios verbinden diese Möglichkeiten mitden Vorteilen von digital erreichbaren Diensten, wie zumBeispiel dem zeit- und ortsunabhängigen Zugriff. Die Ab-teilung für Informationswissenschaft der Heinrich-Heine-Universität erprobte das E-Portfolio-System „Mahara“ imWintersemester 2011/2012. Die anschließende Evaluationsollte darüber Aufschluss geben, wie die Studierendendie Plattform wahrnehmen und wie sie sinnvoll in dieLehre eingebunden werden kann.

Schlagwörter: E-Portfolio, Mahara, Hochschule, Evalua-tion, empirische Untersuchung

Evaluation of the e-portfolio system MaharaTeaching and learning portfolios offer students and tea-chers many opportunities for self-representation, pro-gress documentation or performance evaluation. E-Portfo-lios combine these capabilities with the advantages ofdigitally accessible services, such as the time and place in-dependent access. The department of information scienceat the Heinrich-Heine-University Düsseldorf tested thee-portfolio system „Mahara” in winter term 2011/2012.The evaluation should indicate how the students perceivethe platform and how it can be effectively integrated intoteaching.

Keywords: e-portfolio, Mahara, university, evaluation,empirical study

Évaluation du système e-portfolio de MaharaLes portfolios d’enseignement et d’apprentissage offrentde nombreuses possibilités d’expression, de documenta-tion de progrès ou d’évaluation de performance aux en-seignants et aux étudiants. Les e-portfolios combinentces options avec les avantages des services numériques,comme par exemple l’accès indépendant du temps et dela localisation. Le département des sciences de l’informa-tion de l’Université Heinrich-Heine a testé le système e-portfolio «Mahara» pendant le semestre d’hiver 2011-2012. L’évaluation ultérieure devrait montrer comment

les étudiants perçoivent la plateforme et comment ellepeut être intégrée efficacement dans l’enseignement.

Mots clés: e-portfolio, Mahara, université, évaluation,enquête, enseignement

1 Einführung

Die Nutzung von papiergebundenen Portfolios in derLehre ist keine neue Entwicklung. Durch die Portfolioswird Schülern und Studierenden die Möglichkeit gege-ben, die eigene Entwicklung ihrer Kompetenzen und Fä-higkeiten während der gesamten Ausbildung zu doku-mentieren. Auch Lehrer und Dozenten haben so zumBeispiel eine weitere Grundlage für die Leistungsbewer-tung ihrer Schüler. Neben der papiergebunden Versionwerden in der akademischen Lehre auch zunehmendelektronische Portfolios (über e-Portfolio-Systeme) einge-setzt (Balaban & Bubas 2010). Für Gerbic und Maher(2008) hat die Nutzung von e-Portfolios in der Lehrezahlreiche Vorteile. So nennen sie zum Beispiel die ein-fache Nutzung, den leichten Zugang zu Materialien unddie Mobilität dieser Systeme. Aber auch die Möglichkeit,eine eigene „Visitenkarte“ zu erstellen, sowie digitale In-halte zu präsentieren, scheinen die E-Portfolios zu einemvielversprechenden System in der Lehre zu machen.

2006 begann in Neuseeland die Entwicklung des Open-Source E-Portfolio-Systems „Mahara“ (www.mahara.org).Im Wintersemester 2011/2012 entschied sich die Abteilungfür Informationswissenschaft der Heinrich-Heine-Univer-sität Düsseldorf dafür, diese Plattform für verschiedeneKurse zu nutzen.

2 Der Einsatz von Mahara in derinformationswissenschaftlichenLehre

Im Wintersemester 2011/2012 wurde der Einsatz von Ma-hara in der Düsseldorfer Informationswissenschaft erst-mals getestet. Dies geschah hauptsächlich in den Kursen„Information Retrieval“, welcher drei Übungsgruppen be-

DOI 10.1515/iwp-2012-0051 Information. Wissenschaft & Praxis 2012; 63(4):227–231

Bereitgestellt von | Heinrich Heine Universitaets und Landesbibliothek DüsseldorfAngemeldet | 134.99.106.115

Heruntergeladen am | 04.06.13 13:28

inhaltete, „Berufsfelder“ sowie „Wissenschaftliches Ar-beiten“. Die Bachelor-Studierenden befanden sich zwi-schen dem 1. und 5. Fachsemester. Bei der Einführungvon Mahara wurde darauf geachtet, so viele Funktionenund Medien wie möglich einzubeziehen, um deren Po-tential in der Lehre zu testen und zu evaluieren.

Jeder Kurs bzw. jede Übungsgruppe hat ihre eigeneStartseite, auf der aktuelle Meldungen, Klausurergebnisseund weitere wichtige Informationen gepostet werden (sie-he Abbildung 1). Die Startseite dient aber auch als Zu-gangspunkt für die sogenannten „Ansichten“ der Gruppe.Ansichten sind einzelne Seiten, die die Dozenten erstellenund für die Studierenden freischalten. Auf diesen Ansich-ten werden zum Beispiel alle Folien der Übungen, Haus-aufgaben oder Musterlösungen veröffentlicht. Zusätzlichzu den Ansichten, die von den Dozenten der Gruppen er-stellt werden, müssen die Studierenden ihre eigenen An-sichten erstellen. Diese Ansichten sind zum BeispielHausaufgaben, bei denen die Teilnehmer Texte schrei-ben, Bilder veröffentlichen oder Übungsaufgaben erledi-gen müssen. Ziel ist es, den Studierenden nicht nur denpassiven, sondern auch den aktiven Umgang mit Maharaund dem Erstellen eigener Inhalte näherzubringen. DasAnlegen der Ansichten geschieht per Drag & Drop und istsomit sowohl für Studierende als auch für Dozierendeleicht zu erlernen. Die Gruppenfunktion von Maharamacht es möglich, die Gruppenmitglieder in Lehrende,Tutoren und Studenten/Teilnehmer zu gliedern. So kön-nen Studierende selbst gestaltete Ansichten zur Bewer-tung für ihre Gruppe einreichen. Sobald eine Ansicht ein-gereicht ist, hat der Studierende keinen Zugriff mehrdarauf und der Dozent kann sie bewerten. Werden vonden Dozenten Verbesserungsvorschläge gemacht, kanndie Ansicht wieder freigeschaltet werden, sodass die Stu-dierenden Verbesserungen einfügen können. Zusätzlichwurden die Studierenden dazu angehalten, auch andere

Funktionen von Mahara zu testen und zu nutzen. Hierun-ter fallen z. B. die „Biographie“-Seite, auf der die Studie-renden ihren schulischen oder akademischen Werdegangdarlegen, oder die Blog-Funktion, mit der die Studieren-den einen eigenen Blog erstellen und veröffentlichen.

3 Evaluation

3.1 Methode und Teilnehmer

Um eine Einschätzung darüber zu bekommen, wie gutder erste Einsatz von Mahara von den Studierenden ange-nommen wurde, hat die Abteilung für Informationswis-senschaft eine Umfrage unter den Studierenden der be-treffenden Kurse durchgeführt. Diese Evaluation desE-Portfolio-Systems wurde mit der Umfrage-Funktion vonILIAS durchgeführt. Hier konnte problemlos für alle Stu-dierende der Kurse ein Zugang zur Evaluation freigeschal-tet werden. Insgesamt nahmen 61 Studierende aus denStudiengängen „Informationswissenschaft und Sprach-technologie“ (62%) und „Informationswissenschaft Er-gänzungsfach“ (38%) an der Befragung teil. 35 Befragte(44%) waren Teilnehmer des Kurses „Information Retrie-val“ (1.Semester), 27 (34%) Teilnehmer des Seminars „Be-rufsfelder“ (meist 5.Semester). Die restlichen Befragtenwaren Teilnehmer anderer Kurse, wie zum Beispiel „Wis-senschaftliches Arbeiten“.

Die Umfrage bestand aus fünf Bereichen, mit jeweilsfünf bis sieben Auswahl-/Multiple-Choice- sowie Freitext-fragen. Im ersten Bereich wurden die Studierenden überihre generelle Einschätzung von Mahara, dessen Funktio-nen und über ihre Erfahrungen in den Seminaren be-fragt. Der zweite Bereich diente der Einschätzung darü-ber, wie gut die Studierenden mit den verschiedenenFunktionen von Mahara zurechtkamen. Bereich 3 be-schäftigte sich mit den sozialen Komponenten von Maha-ra, etwa das Nachrichtensystem oder das Forum. In denbeiden letzten Bereichen wurden die Studierenden überdie Nutzung der Funktionen von Mahara befragt, dienicht unmittelbar mit den Seminaren zusammenhängen.Außerdem wurde hier noch einmal konkret nach Proble-men und Schwierigkeiten bei der Nutzung gefragt. BeiLetzterem wurden, um konkrete Probleme identifizierenzu können, Freitextfelder verwendet.

4 Ergebnisse

Abbildung 2 zeigt die Bewertung der Studierenden in Be-zug auf Mahara im Allgemeinen und dem konkreten Ein-

Abb. 1: Startseite einer Information Retrieval-Gruppe.

228 Schwerpunkt L. Beutelspacher, Evaluation des E-Portfolio-Systems Mahara



satz im Studium. Über 60 Prozent der Studierenden be-werten Mahara generell mit „Gut“ oder „Ganz ok“. Auf-fällig ist hier, dass kein einziger Student die Bewertung„Sehr gut“ gegeben hat. Ca. 12 Prozent bewerteten dasE-Portfolio-System mit „Sehr schlecht“. Die Bewertungender Benutzerfreundlichkeit sind sogar noch schlechtere.Hier vergeben 18 Prozent der Studierenden die Bewer-tung „Sehr schlecht“. Kommentare wie: „Die Benutzungist sehr kompliziert“ oder „Mahara ist ein unübersicht-liches Programm und nicht gerade empfehlenswert“, wa-ren keine Seltenheit. Ähnliche Werte sind bei der Bewer-tung des Designs zu erkennen. Hier wurde vor allem die

Farbwahl bemängelt. Der Funktionsumfang wird generelletwas besser beurteilt. Trotzdem wurde aus den Kom-mentaren ersichtlich, dass es generell zu viele Funktio-nen gibt, die „schlecht in das System integriert sind“.

Beim allgemeinen Einsatz von E-Portfolio-Systemenim Studium sowie beim Einsatz im konkreten Kurs fallendie Werte etwas besser aus, sind aber nicht zufriedenstel-lend.

Wichtig für den weiteren Einsatz von Mahara ist, dassdie Dozenten einschätzen können, wo die StudierendenProbleme bei der Nutzung haben. Abbildung 3 zeigt, dassca. 32 Prozent der Studierenden die Benutzung von Maha-

Abb. 2: Evaluationsergebnisse: Mahara im Allgemeinen und konkreter Einsatz im Seminar.

Abb. 3: Evaluationsergebnisse: Schwierigkeit der Benutzung von Mahara.

L. Beutelspacher, Evaluation des E-Portfolio-Systems Mahara Schwerpunkt 229



ra leicht bzw. sehr leicht fällt. Allerdings geben auch ca.28 Prozent der Befragten an, dass ihnen die Benutzungschwer bzw. sehr schwer fällt. Ähnliche Werte lassen sichbei fast allen Funktionen von Mahara erkennen. Etwasbessere Bewertungen sind bei den Fragen über das Anle-gen und Einreichen von Ansichten zu erkennen.

Da bei E-Portfolio-Systemen besonders die sozialenKomponenten im Vordergrund stehen, wurden auch die-se von den Studierenden bewertet (Abbildung 4). DasVersenden und Empfangen von Kontaktanfragen schnei-det hier am besten ab. Das Foren- und Nachrichten-system wurde nicht sehr gut bewertet. Die Blogfunktionhat eine besondere Stellung, weil über die Hälfte derStudierenden diese anscheinend nicht kennen oder sienoch nie benutzt haben und deshalb nicht beurteilenkönnen.

Da die Motivation der Studierenden zur Nutzung vonMahara sehr von ihrem persönlichen Eindruck und auchder regelmäßigen Nutzung des Systems abhängt, wurdenauch Funktionen zur Bewertung gestellt, die nicht un-mittelbar in den Kursen, sondern zum eigenen Content-Management oder zum Lernen mit anderen verwendetwerden (Abbildung 5). Hier konnten die Studierenden an-geben, ob sie die Funktionen nutzen oder nicht. Am häu-figsten wird die Upload-Funktion für eigene Dateien undProfilbilder sowie die Biografie-Seite verwendet. Nur eineinziger Student nutzt den eigenen Blog. Elf Studierendehaben bereits eine eigene Gruppe eingerichtet. Den Kom-mentaren nach zu urteilen, werden diese Gruppen haupt-sächlich zum gemeinsamen Lernen oder für das Verglei-chen von Hausaufgaben verwendet.

Die abschließenden Fragen zu Mahara waren haupt-sächlich offene Fragen. Es war besonders auffällig, dassfast 65 Prozent bei der Nutzung von Mahara Schwierig-keiten hatten. Vor allem das Hochladen und Verwaltenvon Dateien scheint für viele Studierende eine Herausfor-derung zu sein. Einige Studierende hatten auch Proble-me, sich in den Gruppen zu orientieren oder andere Nut-zer zu finden.

Für 18 Prozent der Befragten fehlen bei Mahara wich-tige Funktionen. So beispielsweise „ganz banale Word-Funktionen beim Erstellen einer Textbox“ oder ein „LiveChat in Ergänzung zum Forum“. Der Großteil der Studie-renden ist jedoch der Meinung, dass eine Einschränkungder Funktionen oder eine bessere Übersichtlichkeit wich-tiger sind als neue Funktionen.

Abb. 4: Evaluationsergebnisse: Soziale Komponenten.

Abb. 5: Evaluationsergebnisse: Nutzung der Funktionen.

230 Schwerpunkt L. Beutelspacher, Evaluation des E-Portfolio-Systems Mahara



Bei vier Studierenden gab es bei der Verwendungvon Mahara Probleme mit dem Browser. So funktionierebei Safari der Dateidownload nicht immer fehlerfrei oderdie Ladezeiten der Seite wären zu lang. Einige Kommen-tare legen nahe, dass die Verwendung von Mahara fürSmartphones nicht geeignet ist.

5 Diskussion

Die Studierenden stehen der Nutzung von Mahara gene-rell sehr kritisch gegenüber. Die Tatsache, dass 40 Pro-zent der Studierenden die Plattform mit „Schlecht“ oder„Sehr schlecht“ bewertet haben stimmt bedenklich. Auchdie durchweg negativen Kommentare der Studierendenzeigen, dass wir noch weit vom optimalen Einsatz vonMahara entfernt sind. Allerdings neigen Teilnehmer einerEvaluation dazu, Kommentare und Verbesserungsvor-schläge zu hinterlassen, wenn sie nicht zufrieden sind.

Bei der Nutzung von Mahara hatten einige Studieren-de Schwierigkeiten, sodass eine zusätzliche Schulung inBetracht zu ziehen ist. Viele Studierende sind der Mei-nung, dass eine Nutzung von Mahara als eine Art sozialesNetzwerk nicht sinnvoll ist. Dies begründen sie in ihrenKommentaren vor allem mit der Verfügbarkeit von Face-book. Jedoch scheint das Nachrichtensystem eine wichti-ge Funktion innerhalb des E-Portfolio-Systems zu sein, daso direkt zu den Kursen Informationen ausgetauscht wer-den können. Dies gilt sowohl für die Kommunikation zwi-schen den Teilnehmern als auch für die Kommunikationzwischen Dozenten und Studierenden. Die Kommentarender Studierenden izeigen auch, dass Mahara nicht alsContent-Management-System genutzt werden soll. Hierfürwären – nach Meinung der Befragten – Dienste wie BSCW(ein Groupware-System) oder ILIAS (ein Learning-Man-agement-System) sinnvoller.

Funktionen wie der Blog oder die „Vorhaben“-Seitewerden von den Studierenden sehr selten verwendet.Gründe könnten sein, dass die Studierenden den Mehr-wert eines eigenen Portfolios nicht erkennen oder dassdieses Bedürfnis schon über soziale Netzwerke wie Face-book abgedeckt ist.

6 Fazit

E-Portfolio-Systeme gewinnen im Bereich der akademi-schen Lehre immer mehr an Bedeutung. Seit Oktober2011 nutzt die Düsseldorfer Informationswissenschaft dasSystem Mahara. Über dieses System sollen Studierende

über Aktuelles informiert werden, den Lehrinhalt derÜbungen und Seminare übersichtlich präsentiert bekom-men und aktiv an der Kreation und Erschließung von In-halten mitarbeiten. Wie die Evaluation jedoch zeigt, istein Großteil der Studierenden sehr unzufrieden mit demEinsatz von Mahara. Diese Ergebnisse sollten aber nichtdazu verleiten, den Einsatz von Mahara als gescheitertanzusehen. Vielmehr sollte das ganze Konzept überdachtund neu strukturiert werden. Es ist vor allem dringendnotwendig, dass die Dozenten der jeweiligen Kurse – diemit dem Einsatz von Mahara auch Neuland betraten – imUmgang mit dem E-Portfolio-System selbst sicherer wer-den. Erste Schritte in diese Richtung wurden bereits ein-geleitet, indem die Dozenten eine didaktische Schulungzur Verwendung von Mahara in der Lehre belegten. Hierwurden auch erste Fehler in der Konzeption deutlich. Sowurde unter anderem die Notwendigkeit einer guten Na-vigationsstruktur klar. Die Startseite muss übersichtlicherund sinnvoller gestaltet werden, sodass sich die Studie-renden besser orientieren können. Momentan ist eine ab-schließende Bewertung über den Einsatz von Mahara imStudium nicht möglich, hierzu muss in den nächsten Se-mestern weiter getestet und geforscht werden.

Literatur

Balaban, I. & Bubas, G. (2010). Educational potentials of eportfoliosystems: Student evaluation of Mahara and Elgg. In: Proceed-ings of the ITI 2010 32nd Int. Conf. on Information TechnologyInterfaces, Cavtat, Croatia.

Gerbic, P. & Maher, M. (2008). Collaborative self-study supportingnew technology: The Mahara e-portfolio project. In: Hello!Where are You in the Landscape of Educational Technology?Proceedings ascilite Melbourne 2008.

Lisa Beutelspacher, B.A.

Lisa Beutelspacher studiert den Master „Informationswissenschaftund Sprachtechnologie“ an der Heinrich-Heine-Universität Düssel-dorf. Seit 2008 ist sie Hilfskraft in der Abteilung für Informations-wissenschaft und dort unter anderem mit dem Aufbau und derPflege der E-Learning-Plattform betraut. Sie hat mehrere For-schungsarbeiten zu informationswissenschaftlichen Aspekten vonBlended Learning sowie zur Informationskompetenz verö[email protected]

L. Beutelspacher, Evaluation des E-Portfolio-Systems Mahara Schwerpunkt 231



2. DGI-Praxistage 2012 Faktor „i“ - Strategischer Umgang mit Informationen in Unternehmen www.dgi-info.de

Donnerstag, 8. November 201218:30 Kamingespräch: Vom wertvollsten Gut zum nervtötenden

Zeitfresser ... Viel Information | Wenig Kompetenz?

19:30 Get-together

Freitag, 9. November 2012

09:00 Eröffnung/Begrüßung

09:15 Verschmelzung von Zeit, Raum und Information: Trends und Herausforderungen der virtuellen Arbeitswelt

Einsatz von Social Media für Unternehmenszwecke – Rechtliche Rahmenbedingungen RA Jürgen Scheller [ RAe Goebel & Scheller, Bad Homburg v.d.H.]

Die digitale Gesellschaft – Neue Wege zu mehrTransparenz, Beteiligung und Innovation Thomas F. Dapp [ Deutsche Bank AG, Frankfurt am Main]

11:00 Enterprise 2.0: Beispielhafter Einsatz neuer Verfahren bei der Informations- und Wissensvermittlung

Smart Content – Finden, Wiederverwenden und Personalisieren, Integration in soziale Netzwerke und neue Erlösquellen

Michael Dreusicke [PAUX Technologies GmbH, Berlin]

Kollaboration bei der Erschließung von Textdokumenten: Ein App Store für semantische Analysekomponenten Stefan Geißler [TEMIS Deutschland GmbH, Heidelberg]

Wissenschaft im Zeitalter sozialer Medien – Die MendeleyInstitutional Edition powered by SwetsMeinhard Kettler [Swets, Frankfurt am Main]

13:30 „Job Title Generator" oder Job-Maschine: Schaffen neueMedien neue Berufsbilder?

Alles nur Job Title-Bingo – oder wie können InformationProfessionals die Innovationskraft ihres Unternehmens

unterstützen?Dr. Oliver Renn [Mittelbiberach]

„Huch, das ist ja schon draußen!“ – Wirkungen des Virtuellen auf den Beruf des Informationsspezialisten.Dr. Ruth Elsholz [PricewaterhouseCoopers AG, Frankfurt am Main]

Sichern Sie sich Ihren kostenlosen

Messegutschein!

Aktionscode erhältlich über [email protected]

Die Kontrolle und Steuerung sowie der effi-ziente Einsatz von digitalen Daten und Do-

kumenten im Unternehmen sind und bleiben ein Dreh- und Angelpunkt erfolgreicher Un-

ternehmensführung.

Die DMS EXPO ist die Leitmesse für Enter-prise Content Management Output- und Do-

kumentenmanagement.

Die DMS EXPO findet parallel zur IT & Busi-ness - Fachmesse für IT-Solutions – statt.

DGI-Vortragsprogramm 23.10.2012, 13:00-14:30 Halle 5, Kongressbühne

Stand, 24.07.12, vorbehaltlich Änderungen

Semantische Kontextualisierung im Dokumentmanagement Stefan Gradmann [DGI-Präsident, Humboldt-Universität zu Berlin]

Automatisierung im Umgang mit Text-informationen: Der Infor-mationsflut mit semantischer Unterstützung begegnen Stefan Geißler [TEMIS Deutschland GmbH]

Neue Erlösquellen für Con-tent: Integration in soziale Netzwerke, Mobilität, Personali-sierung und Anpassbarkeit Michael Dreusicke [PAUX Technologies GmbH]



Lisa Beutelspacher, Düsseldorf Evaluation des E-Portfolio ... · PDF fileLisa...

Documents

Transcript of Lisa Beutelspacher, Düsseldorf Evaluation des E-Portfolio ... · PDF fileLisa...