Schaffert (2009). Grundlagen des E-Assessment -Teil 3

Schaffert, Sandra (2009): Grundlagen des E-Assessment

Grundlagen des E-AssessmentTeil 3: Alternatives E-Assessment

Kurs 11: Grundlagen des E-AssessmentLehrgang eCompetence 2008/20095. März 2009, Universität Wien

Dr. Sandra Schaffert, Salzburg Research,Weblog E-Assessment – http://pruefung.net

Sandra Schaffert 2009http://creativecommons.org/licenses/by/3.0/de/


Formatives E-Assessment


Aus (Meta-) Studien wissen wir ...

| Kommentare wirken sich stärker auf lernen aus als Kommentar plus Noten oder nur Noten

| Die Qualität des Feedback ist maßgeblich für das Lernen| Das Setzen von Prozesszielen ist effektiver als das Setzen

von Produktzielen | Formatives Feedback steht in einem engen Zusammenhang

mit positiven Haltungen gegenüber Lerne

Black & Wiliam (1998). Inside the Black Box: Raising Standards Through Classroom Assessment.

http://powayusd.sdcoe.k12.ca.us/projects/literacy/SSTTL/AssessDocs/PDFs/BlackBox_Article.pdf


Aspekte formativen Prüfens

| Fragen: Was ist das Lernziel, wo steht der Lernende, wie schaut der Weg zum Ziel aus?

| Lehrende| Klärung und Austausch zum Lernziel| Diskussionen führen oder Aufgaben geben, die klären, wo der Lernende

gerade steht| Feedback geben, dass dem Lernenden Wege und Möglichkeiten aufzeigt

| Peers | Verstehen und Teilen Lernabsichten| Werden als Lernressource für Lernende eingebunden, aktiviert

| Lernende| Verstehen ihre Lernabsichten| Werden als Eigentümer und Verantwortliche ihres Lernens verstanden und

aktiviert

(Nach Wiliam (o.J.) http://www.slideshare.net/yish/formative-eassessment-some-theoretical-resources-presentation )


Fünf Strategien ...

| Clarifying, understanding, and sharing learning intentions| curriculum philosophy (goals and horizons)

| Engineering effective classroom discussions, tasks and activities that elicit evidence of learning | classroom discourse, interactive whole-class teaching

| Providing feedback that moves learners forward | feedback

| Activating students as learning resources for one another| collaborative learning, reciprocal teaching, peer-assessment

| Activating students as owners of their own learning | metacognition, motivation, interest, attribution, self-assessment

(Wiliam & Thompson, 2007)


Feedback-Regeln

| es sollte IMMER konstruktiv sein, d. h. es sollte Perspektiven für die Zukunft aufzeigen;

| es sollte beschreibend sein, d. h. es sollte keine Beurteilung (Noten) oder Interpretationen enthalten;

| es sollte konkret sein, nicht allgemein oder pauschal;| es sollte in der Ich-Form formuliert sein ("Meiner

Meinung nach...");| es sollte nicht negativ sein.(Stangl

http://arbeitsblaetter.stangl-taller.at/KOMMUNIKATION/FeedbackRegeln.shtml )


ÜBUNG:

Unter Einbehaltung der Feedback-Regeln: Formulieren Sie ein konstruktives Feedback an den Koch Ihres (letzten) Mittagsessen.

Illu

stra

tion:

http

://w

ww

.flic

kr.c

om/p

hoto

s/m

alia

s/41

4150

99/


Beispiel der Teilnehmer/innen

| „Die Suppe hat mir geschmeckt, vielleicht könnten Sie in Zukunft mehr Meeresfrüchte dazugeben, damit der Geschmack nach Fisch noch intensiver ist. Bei den Hauptspeisen war eine Vielfalt am Buffet gegeben und das Wildschwein hat mir gut geschmeckt. Die Erbsenschoten und der Reis waren gut, jedoch schon kalt. Das Dessert mit Früchten und Pudding hat mir geschmeckt“.

| Kommentar: Wir waren beim Chinesen, es gab Buffet ;-)


E-Portfolio als alternatives E-Assessment


Faire Prüfungen …

Quelle: http://e-campus.uibk.ac.at/planet-et-fix/M5/Pictures/baum_klettern_pruefung.gif


E-Portfolio-Arbeit: Was das ist ...

| Ein „ePortfolio“ ist eine digitale Sammlung von| „mit Geschick gemachten Arbeiten“ einer Person

(=lat. Artefakte) , | die dadurch das Produkt (Lernergebnisse) und den Prozess

(Lernpfad/Wachstum) ihrer Kompetenzentwicklung| in einer bestimmten Zeitspanne und für bestimmte Zwecke dokumentieren

und veranschaulichen möchte. | Die betreffende Person hat die Auswahl der Artefakte selbstständig

getroffen, und diese in Bezug auf das Lernziel selbst organisiert. | Sie (Er) hat als Eigentümer(in) die komplette Kontrolle darüber, wer, wann

und wie viel Information aus dem Portfolio einsehen darf.

(Hilzensauer & Hornung-Prähauser 2006)

| Zur Einführung: Graham Attwell: E-Portfolio Entwicklung und Verwendung via http://wiki.mosep.org/Mosep/


E-Portfolio … nicht ganz neu

| Vorläufer sind u.a. Pensenbücher aus der Montessori-Pädagogik, Arbeitsplan und Schultagebuch aus der Freinet-Pädagogik

| heute: Werkstattbücher, Arbeitsproben für Zulassungen an der Kunsthochschulen, Ausbildung von Pädagog/inn/en


E-Portfolio-Prozesse

(Hilzensauer & Hornung-Prähauser 2006)


Auswahl von Artefakte für unterschiedliche Zwecke


Mögliche Ausrichtungen des E-Portfolios:Produktorientierung ...vs. ... Prozessorientierung

| beinhaltet statische Artefakte

| zeigt formale

Qualifikation

| dient der

Selbstvermarktung

| dient der summativen

Bewertung

| beinhaltet dynamische Artefakte

| zeigt Kompetenzen,

auch informell

erworbene

| dient der

Kommunikation, Peer-

Review

| geeignet für formative

Bewertungberuht auf: Kalz, Marco (2006). Building Eclectic Personal Learning Landscapes with Open Source Tools, , NL) http://blog.marcokalz.de/media/kalz_oe05.pdf Konferenz Open Source for Education in Europe (Heerlen


E-Portfolio-Szenario ... im Jahr 2010


Unterschiedliche Reichweiten des E-Portfolio-Einsatzes

| kann punktuell eingesetzt werden, ein E-Portfolio wird dabei für einen bestimmten Zweck entwickelt.| z. B. in einzelnen Seminaren in der Lehrerausbildung, z. B. an der Universität

Passau (D), Universität Salzburg (A), ...

| kann auch in Form eines E-Portfolio-Systems den konzeptionellen Rahmen für das Lernen in einer Bildungseinrichtung darstellen, | z. B. an den Universitäten Inholland (NL) und Queens University (UK)

| und wird auch als Konzept für die Gestaltung lebenslangen Lernens, über Institutionen, Lebensalter hinweg betrachtet| z. B. Portfolio Medienkompetenz (D), Northern Ireland Integrated Managed

Learning Environment (UK), NL Portfolio (NL)

| und auch über Ländergrenzen hinweg betrachtet| z. B. European Digital Portfolio for Educators (EU-Projekt EDIPED), die Europass-

Initiative, das Europäische Sprachenportfolio, European Portfolio Initiatives Coordination Committee (EPICC)


Prozess 2: Sammeln

(OSP)


Prozess 2: Sammeln


Prozess 3:Reflexion und Steuerung

(pepplepad)


Prozess 3: Reflexion und Steuerung


Prozess 3: Reflexion und Steuerung

(Queens UniversityBelfast, UK)


Prozess 4: Präsentation

(pepplepad)


Prozess 5: Bewertung und Evaluation

(OSP)



(WebCT)


E-Portfolio als alternatives Assessment

| Damit eine faire, objektive und korrekte Beurteilung möglich ist, sollte der Lehrer die Lernziele "operationalisieren", also messbar machen.

| In der E-Portfolio-Arbeit sind die Lernenden in der Regel in diesen Prozess integriert.


E-Portfolio (an sich) bewerten ... (I)

| Auswahl von Material (z. B. relevantes Material - alles, was mit dem gesetzten Zweck und der Zielgruppe zusammenhängt, sorgfältig ausgewählt, zum Sammeln von eindeutigen Pluspunkten geeignet, keine unfertigen oder trivialen Materialien).

| Reflexionsniveau (zeigt z. B. tieferes Verständnis, illustriert Selbsterkenntnis und Wachstum, enthält Feedback von anderen und Reaktion darauf).

| Inhalt (zeigt z. B. beträchtliche Überlegungen über einen bestimmten Zeitraum hinweg, ist in den Kontext eingebettet, zeigt Persönlichkeit und Nachdenken, alle Texte sind korrekt).


E-Portfolio (an sich) bewerten ... (II)

| Einsatz von Multimedia (steigert Inhalt und integriert geeignetes und zweckdienliches Material von hoher Qualität aus Audio/Video, nicht ablenkend).

| Design (z. B. ordentliche und elegante Grafiken sind in Übereinstimmung mit dem Zweck des Portfolios und seinem Ersteller, keine ablenkenden Elemente, Verbindungen sind gut gemacht).

| Navigation (z. B. klar und unmittelbar, ermöglicht es den Nutzern ihre eigenen Wege zu finden, komplett verlinkt mit Hyperlinks).

Challis, D. (2005): Towards the Mature ePortfolio: Some Implicatios for Higher Education . In: Canadian Journal of Learning and Technology. Vol. 31(3).


E-Portfolio bewerten:Indikatoren für eine gelungene Reflexion| Zielgruppe und Zweck des E-Portfolios sind beschrieben oder

offensichtlich;| bezieht sich auf die berufliche und die persönliche Entwicklung;| reflektierende Kommentare über den Nachweis sowie

reflektierende Kommentare darüber, was dieser Nachweis über den Schüler aussagt, sind im E-Portfolio integriert;

| enthält kurzfristige Ziele (Kenntnisse, die der Lerner erwerben/verbessern muss);

| enthält langfristige Ziele (berufliche und/oder persönliche Ziele);

| Interpretation der eigenen Leistungen des Lerners ist festgehalten.

(Penn State, 2006 http://psu.edu )


http://www.flickr.com/photos/dhammza/253987999/sizes/l/

Diskussion

Welche Nachweise würden Sie mir in Ihrem E-Portfolio erbringen, dass Sie die Lernziele dieser Veranstaltung erreicht haben?


Screenshot Projekt „MOSEP“, http://mosep.org

Mehr zu E-Portfolios:MOSEP Tutorials


E-Assessment von Gruppen


Kooperatives Lernen

| Unter dem Stichwort „Computerunterstütztes kooperatives Lernen“ wird seit Anfang der 1990er Jahre geforscht, weil die herkömmlichen Ansätze des Lernens mit dem Computer, z. B. die Einbindung von anderen Lernenden nicht ausreichend berücksichtigt haben, die soziale Einbindung aber als entscheidend für Lernerfolge betrachtet wird

(Pfister & Wessner 1999).


Tools und Möglichkeiten …

| Wiki-Technologie, Kollaboratives Schreiben mit Google-Doc

| Weblogs| Diskussionsforen

| … das Web 2.0 bietet neue Formen kollaborativen Arbeitens, dass die einzelnen Beiträge der Mitglieder u.U. deutlicher dokumentiert und sichtbar machen hilft


Hindernisse kooperativen Lernens …

| Das „Da-mach-ichs-doch-gleich-lieber-selbst“-Phänomen – Studierende mit guten Voraussetzungen übernehmen oft die Hauptarbeit und Beiträge schlechterer Gruppenmitglieder

| Das „Kann-und-mag-ich-nicht-mach-du“-Phänomen – im Untersuchungsfall ging es um einen Statistikkurs, wobei bei einigen die Mathematik auf große Ablehnung stieß

| Das „Ich-hab-meinen-Teil-erledigt“-Phänomen – Studierende fühlen sich nur für ihre Teilaufgaben verantwortlich, nicht für das Gesamtergebnis

| Das „Gruppenarbeit-nein-danke“-Phänomen – durch Schwierigkeiten in der Kooperation verlieren Studierende die Lust an der Gruppenarbeit (oder haben sie bereits verloren)

| Das „Hans-der-machts-dann-eh“-Phänomen – einzelne Gruppenmitglieder überlassen die Arbeit den anderen, der so genannten „Free-Rider-Effekt“

| Das „Ja-bin-ich-denn-der-Depp“-Phänomen – derjenige der die Hauptlast hat, ist zunehmend verärgert, der so genannten „Sucker-Effekt“

(Renkl, Gruber & Mandl 1996, S. 135ff)


Mögliche Kriterien für die Bewertung von Gruppenarbeit (-diskussionen) (I)

| Präsentation neuer Ideen| Aufbau auf den Beiträgen von anderen| Kritische Beiträge| Kohärente Zusammenfassung von Diskussionen| Einführung und Integration von gesammeltem Wissen| Verknüpfung der theoretischen Diskussion mit

eigenen Erfahrungen| Effektive Kollaboration mit anderen Beitragenden| Nutzung der Möglichkeiten des Tools, um die

Informationen gelungen zu präsentieren und zu strukturieren

| Korrekte, konsistente und klar geschriebene BeiträgeCreanor (2000)


Mögliche Kriterien für die Bewertung von Gruppenarbeit (-diskussionen) (II)

| Zusammenfassung der Konzepte aus der Literatur| Weiterbringen der Diskussion| Identifikation von Stärken in den Beiträgen| Wo angemessen, wir konstruktive Kritik geübt| Vorschläge für Lösungen bei Problemen| Links zu qualitativ hochwertigen und relevanten

Quellen (online und offline) werden gegeben| Gebrauch von Multimedia bei der Darstellung von

Informationen| Das Verhalten entspricht der erwarteten Norm(Creanor 2000)


Diskussion

Werden bei Ihnen Gruppenarbeiten angenommen/bewertet?

Wie gehen Sie dabei vor?

Wie könnten Sie dabei mit Web-2.0-Tools vorgehen?

http://www.flickr.com/photos/dhammza/88536167/


Abschluss: Sie sind gefragt!E-Assessment aus Ihrer Perspektive

Zeitraum


Gruppenarbeit – Diskussion

Welches E-Assessment-Verfahren werden Sie zukünftig genauer anschauen/einsetzen?

Welche Gründe sprechen dafür, dagegen?

http://www.flickr.com/photos/dhammza/811462408/sizes/o/


Kontakt

Dr. Sandra Schaffert Salzburg Research Jakob-Haringer-Str. 5/IIIA-5020 SalzburgPhone: +43-662-2288-429Fax: [email protected]://edumedia.salzburgresearch.at (Anwendungsfeld)http://sandra.schaffert.ws (Weblog mit allen Aktivitäten)http://pruefung.net (Weblog zu E-Assessment)

Schaffert (2009). Grundlagen des E-Assessment -Teil 3

Education

Transcript of Schaffert (2009). Grundlagen des E-Assessment -Teil 3