Download - Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

Transcript
Page 1: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

Automatisierte Bewertung bei MOOCSeminar aus Informatik

Siegmar Alber, Luca Debiasi

24.05.2013

Page 2: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

1 Einleitung

2 Automatisierte Bewertung

3 Diskussion und Ausblick

4 Fazit

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 3: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Einleitung

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 4: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Aufgabenstellung

Automatisierte Bewertung bei MOOC(Massive Open Online Courses)Ziel automatisierter Bewertung:

Viele StudentenBetreuung durch Lehrenden ermöglichen und erleichternFeedback für StudentenMöglichkeit zur selbstständigen Verbesserung von Arbeiten durchStudenten

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 5: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Grundidee

Verschiedene Aufgaben:Unterstützung bei Korrektur von AufgabenAutomatisierte BenotungÜberprüfung des Wissensstandes

Betrachtet werden soll:Korrektheit/FunktionalitätQualitätForm/DesignÜberprüfung auf Plagiate

Unter Berücksichtigung von:Unterschiedlichen AusdrucksweisenBemühen des Studenten

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 6: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Automatisierte Bewertung

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 7: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Arten von Dokumenten

Lückentexte und Multiple ChoiceTexte

freie Texteoffene FragenÜbersetzungen (z. B. Englisch–Chinesisch)

Mathematische FormelnStatistik Übungen

MischformenDokumente mit technischen Texten, mathematischen Formeln,Diagrammen und Graphiken

ProgrammieraufgabenVerwendung von Software

TabellenkalkulationUNIX (Shell)Systemkonfiguration (z. B. virtuelle Maschinen)

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 8: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Texte

Zu beachtende Merkmale:FormInhaltStilAufbau und Argumentation

Systeme zur automatisierten Bewertung:Inhalt: Intelligent Essay Assessor (IEA)Stil: Project Essay Grade (PEG)Beides: Paperless School free-text Marking Engine (PS-ME)

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 9: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Texte - Technische Umsetzung

Inhalt:Latent Semantic Analysis (LSA)Matrix von Wörtern in verschiedenem KontextVergleich mit Referenztext(en)Ziel: Konzepte in Dokument finden, auch wenn gesuchtes Wortnicht explizit enthalten

Stil:Analyse von linguistischen MerkmalenLänge des Textes (Anzahl der Wörter)WorthäufigkeitenVorkommen von Relativpronomen, Präpositionen, . . .Ziel: Komplexität des Textaufbaus soll erfasst werden

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 10: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Texte - Technische Umsetzung

Kombination aus Stil und Inhalt:Natural Language Processing (NLP)Vergleich mit „positiven“ und „negativen“ ReferenztextenVerschiedene Parameter beschreiben Wissenstand desStudenten und Korrektheit/Stil des InhaltesFeedback für Student anhand dieser Parameter

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 11: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Programmieraufgaben

Zu untersuchende Merkmale:SyntaxSemantikKorrektheitCode-QualitätVerwendung von Patterns

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 12: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Programmieraufgaben - Frameworks/Methoden

Generic Automated Marking Environment (GAME) oder Sakai:Einfache Codeanalyse (Anzahl Variablen, Kommentare,Schleifen. . . ) und Output-Vergleich; für verschiedeneProgrammiersprachen geeignet

AutoGrader oder Infandango:Statische Code-Analyse, Student implementiert Interace, dannUnit-Tests auf diesem Interface

AnalyseC:Parst Code, baut AST (Abstract Syntax Tree), führt daraufnormierende Transformationen aus und vergleicht ihn mitReferenz

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 13: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Mathematische Formeln

Zu untersuchende Merkmale:SyntaxKorrektheit

Technische Umsetzung:MathML:Dokumentenformat zur Darstellung mathematischer Formeln undkomplexer AusdrückeMathTree:Darstellung von mathematischen Gleichungen mit Hilfe einerBaum-DatenstrukturÜberprüfung:Mustererkennung durch überwachtes Lernen (Support VectorMachines (SVMs)), erkennt Vorkommen von MathTrees inDokumenten

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 14: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Weitere Frameworks/Methoden

BOSS: Unterstützt administrative Abläufe (Abgabe von Arbeiten,Bewerten, Feedback. . . ), Bewertung selbst ist auswechselbar

SAVE: Überprüfen von Wissen über Naturphänomene durch dasAnpassen von Parametern in simulierten Welten

Ontology-Driven Auto-evaluation for e-Learning Approach(ODALA): Allgemein verwendbares System basierend auf einerOntologie

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 15: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

TexteProgrammieraufgabenMathematische FormelnWeitere

Weitere Frameworks/Methoden

Spreadsheet marking: Überprüft in einer Tabellenkalkulationeingegebene Formeln

VM system administration: Shell-Skripte, die in der VMausgeführt werden, überprüfen ihre Funktion und Konfiguration

Automated Predictive Assessment from Unstructured StudentWriting: Prognose von Noten basierend auf Beteiligung in Foren

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 16: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Diskussion und Ausblick

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 17: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Allgemein

Ziel: Konsistenz bei Bewertung und qualitativ hochwertigesFeedback

Einsatz von künstlicher Intelligenz in verschiedenen Bereichen

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 18: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Text

Zu Beginn geringe Akzeptanz durch indirektes Messen vonSchreibfähigkeiten

Täuschen des Systems relativ einfach

Außerdem kein Feedback möglich

Genauere Analyse durch LSA und NLP nötig

Leseverständlichkeit von Texten hängt mit Qualität zusammen,wie dieser geschrieben wurde

Dadurch können auch Lernmaterialien verbessert werden

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 19: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Programmieren

Nicht nur Output vergleichen

Engagement von Studenten messen

Ausblick: Versionskontrolle, Teamwork, design patterns, unittesting, test-driven development, user stories, . . .

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 20: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Plagiat-Erkennung

Großes Problem in MOOCs

Einfache Informationsbeschaffung über WWW Segen und Fluchzugleich

Erkennung durch automatische Systeme (Coursera) → Effizienz?

Zusammenarbeit mit Test-Centern (edX, Udacity) → zusätzlicheKosten

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 21: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Fazit

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 22: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Nutzen

Objektivere Bewertung

Verarbeiten von großen Datenmengen

Weltweiter Zugriff möglich

Ermöglicht hochqualitative Lehre für breites Publikum

Kosten- und Zeitersparnis

Technologien können auch in anderen Bereichen eingesetztwerden

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 23: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

EinleitungAutomatisierte Bewertung

Diskussion und AusblickFazit

Probleme

Es braucht für jede Art von Problem ein eigenes Verfahren undstandardisierte Bewertungskriterien, (derzeit) keine allgemeingültige MethodeVerschiedenste Probleme bei unterschiedlichen Dokumenten:

TextverständnisÜberprüfen von Interaktivität (z. B. Menüs) beiProgrammieraufgaben

Verarbeiten von großen Datenmengen

Oft Überprüfung der automatisierten Bewertung nötig

Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC

Page 24: Automatisierte Bewertung bei MOOC · 2014-01-15 · AutoGrader oder Infandango: Statische Code-Analyse, Student implementiert Interace, dann Unit-Tests auf diesem Interface AnalyseC:

Fragen, Diskussion