Automatisierte Bewertung bei MOOCSeminar aus Informatik
Siegmar Alber, Luca Debiasi
24.05.2013
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
1 Einleitung
2 Automatisierte Bewertung
3 Diskussion und Ausblick
4 Fazit
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Einleitung
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Aufgabenstellung
Automatisierte Bewertung bei MOOC(Massive Open Online Courses)Ziel automatisierter Bewertung:
Viele StudentenBetreuung durch Lehrenden ermöglichen und erleichternFeedback für StudentenMöglichkeit zur selbstständigen Verbesserung von Arbeiten durchStudenten
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Grundidee
Verschiedene Aufgaben:Unterstützung bei Korrektur von AufgabenAutomatisierte BenotungÜberprüfung des Wissensstandes
Betrachtet werden soll:Korrektheit/FunktionalitätQualitätForm/DesignÜberprüfung auf Plagiate
Unter Berücksichtigung von:Unterschiedlichen AusdrucksweisenBemühen des Studenten
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Automatisierte Bewertung
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Arten von Dokumenten
Lückentexte und Multiple ChoiceTexte
freie Texteoffene FragenÜbersetzungen (z. B. Englisch–Chinesisch)
Mathematische FormelnStatistik Übungen
MischformenDokumente mit technischen Texten, mathematischen Formeln,Diagrammen und Graphiken
ProgrammieraufgabenVerwendung von Software
TabellenkalkulationUNIX (Shell)Systemkonfiguration (z. B. virtuelle Maschinen)
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Texte
Zu beachtende Merkmale:FormInhaltStilAufbau und Argumentation
Systeme zur automatisierten Bewertung:Inhalt: Intelligent Essay Assessor (IEA)Stil: Project Essay Grade (PEG)Beides: Paperless School free-text Marking Engine (PS-ME)
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Texte - Technische Umsetzung
Inhalt:Latent Semantic Analysis (LSA)Matrix von Wörtern in verschiedenem KontextVergleich mit Referenztext(en)Ziel: Konzepte in Dokument finden, auch wenn gesuchtes Wortnicht explizit enthalten
Stil:Analyse von linguistischen MerkmalenLänge des Textes (Anzahl der Wörter)WorthäufigkeitenVorkommen von Relativpronomen, Präpositionen, . . .Ziel: Komplexität des Textaufbaus soll erfasst werden
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Texte - Technische Umsetzung
Kombination aus Stil und Inhalt:Natural Language Processing (NLP)Vergleich mit „positiven“ und „negativen“ ReferenztextenVerschiedene Parameter beschreiben Wissenstand desStudenten und Korrektheit/Stil des InhaltesFeedback für Student anhand dieser Parameter
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Programmieraufgaben
Zu untersuchende Merkmale:SyntaxSemantikKorrektheitCode-QualitätVerwendung von Patterns
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Programmieraufgaben - Frameworks/Methoden
Generic Automated Marking Environment (GAME) oder Sakai:Einfache Codeanalyse (Anzahl Variablen, Kommentare,Schleifen. . . ) und Output-Vergleich; für verschiedeneProgrammiersprachen geeignet
AutoGrader oder Infandango:Statische Code-Analyse, Student implementiert Interace, dannUnit-Tests auf diesem Interface
AnalyseC:Parst Code, baut AST (Abstract Syntax Tree), führt daraufnormierende Transformationen aus und vergleicht ihn mitReferenz
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Mathematische Formeln
Zu untersuchende Merkmale:SyntaxKorrektheit
Technische Umsetzung:MathML:Dokumentenformat zur Darstellung mathematischer Formeln undkomplexer AusdrückeMathTree:Darstellung von mathematischen Gleichungen mit Hilfe einerBaum-DatenstrukturÜberprüfung:Mustererkennung durch überwachtes Lernen (Support VectorMachines (SVMs)), erkennt Vorkommen von MathTrees inDokumenten
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Weitere Frameworks/Methoden
BOSS: Unterstützt administrative Abläufe (Abgabe von Arbeiten,Bewerten, Feedback. . . ), Bewertung selbst ist auswechselbar
SAVE: Überprüfen von Wissen über Naturphänomene durch dasAnpassen von Parametern in simulierten Welten
Ontology-Driven Auto-evaluation for e-Learning Approach(ODALA): Allgemein verwendbares System basierend auf einerOntologie
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
TexteProgrammieraufgabenMathematische FormelnWeitere
Weitere Frameworks/Methoden
Spreadsheet marking: Überprüft in einer Tabellenkalkulationeingegebene Formeln
VM system administration: Shell-Skripte, die in der VMausgeführt werden, überprüfen ihre Funktion und Konfiguration
Automated Predictive Assessment from Unstructured StudentWriting: Prognose von Noten basierend auf Beteiligung in Foren
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Diskussion und Ausblick
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Allgemein
Ziel: Konsistenz bei Bewertung und qualitativ hochwertigesFeedback
Einsatz von künstlicher Intelligenz in verschiedenen Bereichen
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Text
Zu Beginn geringe Akzeptanz durch indirektes Messen vonSchreibfähigkeiten
Täuschen des Systems relativ einfach
Außerdem kein Feedback möglich
Genauere Analyse durch LSA und NLP nötig
Leseverständlichkeit von Texten hängt mit Qualität zusammen,wie dieser geschrieben wurde
Dadurch können auch Lernmaterialien verbessert werden
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Programmieren
Nicht nur Output vergleichen
Engagement von Studenten messen
Ausblick: Versionskontrolle, Teamwork, design patterns, unittesting, test-driven development, user stories, . . .
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Plagiat-Erkennung
Großes Problem in MOOCs
Einfache Informationsbeschaffung über WWW Segen und Fluchzugleich
Erkennung durch automatische Systeme (Coursera) → Effizienz?
Zusammenarbeit mit Test-Centern (edX, Udacity) → zusätzlicheKosten
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Fazit
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Nutzen
Objektivere Bewertung
Verarbeiten von großen Datenmengen
Weltweiter Zugriff möglich
Ermöglicht hochqualitative Lehre für breites Publikum
Kosten- und Zeitersparnis
Technologien können auch in anderen Bereichen eingesetztwerden
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
EinleitungAutomatisierte Bewertung
Diskussion und AusblickFazit
Probleme
Es braucht für jede Art von Problem ein eigenes Verfahren undstandardisierte Bewertungskriterien, (derzeit) keine allgemeingültige MethodeVerschiedenste Probleme bei unterschiedlichen Dokumenten:
TextverständnisÜberprüfen von Interaktivität (z. B. Menüs) beiProgrammieraufgaben
Verarbeiten von großen Datenmengen
Oft Überprüfung der automatisierten Bewertung nötig
Siegmar Alber, Luca Debiasi Automatisierte Bewertung bei MOOC
Fragen, Diskussion
Top Related