E-PRÜFUNGSSYMPOSIUMNeue Prüfungsformenim Zeitalter derDigitalisierung

19. und 20. September 2017 Universität Bremen

2

Veranstaltungspartner:

3

Inhaltsverzeichnis

Grußworte .......................................................................................4Tagungsinformationen .....................................................................6 AllgemeineInformationen .................................................................6 Lageplan .............................................................................................8 Tagungsort ........................................................................................10 Programmübersicht ..........................................................................12Abstracts .......................................................................................14 Keynotes ...........................................................................................16 Session 1 ...........................................................................................20 Session 2 ...........................................................................................26 Session 3 ...........................................................................................32 Session 4 ...........................................................................................40 Workshop 1 ......................................................................................46 Workshop 2 ......................................................................................47 Knowledge Café 1 .............................................................................48 Knowledge Café 2 .............................................................................56 Poster ...............................................................................................64Danksagung ...................................................................................74

4

Grußwort von Prof. Dr. Thomas Hoffmeister

Sehr geehrte Damen und Herren,liebe Teilnehmerinnen und Teilnehmer,

Willkommen in Bremen! Im Namen des gesamten Rektorats begrüße ich Sie recht herzlich in unserer Stadt und an der Universität.

Als 2004 die ersten E-Klausuren in ZusammenarbeitderWirtschaftswissenschaftenmit unserem Zentrum für Multimedia in derLehre (ZMML) erfolgreich durchgeführt wurden, lagdieMotivationfürdieNutzungdieserdamalsnochsehrinnovativenPrüfungsformklarindenEffizienzgewinnen angesichts von bis zu 900Studierenden in nur einer Klausur. Heute, 13 JahrespäterundausgestattetmiteinemreichenErfahrungsschatz ist das E-Assessment aus dem Alltag der Universität Bremen nicht mehr wegzudenken. Auf der einen Seite wird das Testcenter von allen Fachbereichen genutzt und istmitüber9.500PrüfungsleistungenproSemesterstarkgebucht,aufderanderenSeitehabenFragenderKompetenzorientierungineinerzunehmenddigitalisiertenLebens- und Arbeitswelt sowie alternative Prüfungsformen deutlich an Gewichtgewonnen. Als Konrektor für die Lehre und langjähriger Nutzer der E-Assessment-ServicesdesZMMListmirdasConstructiveAlignment,alsodieengeVerzahnungzwischen den zu erreichenden Lernergebnissen, dem Lehr- und Lerngeschehen sowiederPrüfungsgestaltung,sehrwichtig.Umsomehrfreueichmich,dassdiesesKonzept eines der Schwerpunkte des diesjährigen Prüfungs-Symposiums ist und sehegleichzeitigdenvielenNeuentwicklungenwieadaptivenPrüfungenunddenErfahrungsberichten anderer Hochschulen mit Spannung entgegen.

Ich wünsche uns allen eine erfolgreiche, abwechslungsreiche Veranstaltung mit viel GelegenheitfürDiskussionenunddenAustauschvonErfahrungen.

Prof.Dr.ThomasHoffmeister Konrektor für Lehre und Studium, Universität Bremen

5

Grußwort von Dr. Jens Bücking

Sehr geehrte Teilnehmerinnen und Teilnehmer,liebeReferentinnenundReferenten,

es freut mich sehr, dass die Universität Bremen zusammen mit der RWTH Aachen und e-teaching.org das diesjährige e-Prüfungs-Symposium ausrichten darf. Innerhalb von vier Jahren hat sich das ePS als das Event im deutschsprachigen Raum etabliert, bei dem sich Nutzerinnen und Nutzer, Service-Anbieter, Bildungswissenschaftlerinnen und Initiativenüber digitalisierte Prüfungsformen austauschen undvernetzenkönnen.UnterdemMotto„NeuePrüfungsformen im Zeitalter der Digitalisierung“ richten wir dieses Jahr unseren Blick auf die Zukunft des E-Assessments und tauschengleichzeitig unsere bisherigen Erfahrungenund aktuellen Expertisen aus. Im Programmstehen daher Beiträge zu neuen Prüfungsformaten direkt neben Erfahrungs- und Best-Practice-Berichten.Ichbinstolzdarauf,dassaufderListederTeilnehmendenauchviele„Kunden“,alsoNutzerinnenundNutzerderE-Assessment-AngeboteinBremenundanderswozufindensind:SiesindfürmichdieeigentlichenExpertinnenund Experten wenn es darum geht, elektronische Prüfungen im Sinne einer guten, kompetenzorientiertenLehreweiterzuentwickeln.DieoftlangjährigenErfahrungenmit der Einführung, Durchführung und Qualitätssicherung von E-Assessments an vielenHochschulenschlagensichinderPräsentationeinerReihevonelaboriertenHandreichungen,praktischenHandlungsempfehlungenunderfolgreicherprobtenUnterstützungstools nieder. Das E-Prüfungs-Symposium ist somit nicht nur für Expertinnen,sondernauchfürEinsteigerhochinteressant.

Ich wünsche uns allen spannende Anregungen für die eigene Prüfungspraxis sowieneueKontakteundAllianzen.Gemeinsammit Ihnenwirdesgelingen,daskompetenzorientiertePrüfen imZeitalterderDigitalisierungerfolgreich voran zubringen.

Dr. Jens Bücking ZentrumfürMultimediainderLehre,Universität Bremen

6

Allgemeine Informationen

Tagungsbüro und GarderobeDasTagungsbüro(GW2RaumB2860)istwährendderTagungdurchgängigbesetzt.DortfindenRegistrierung,AnmeldungzuWorkshopsundKnowledgeCaféssowiedieAbgabederPräsentationenstatt.WirstehenIhnenhierfürFragenundAnliegenvon A wie Anmelden bis Z wie Zahnarzt jederzeit zur Verfügung. Im Tagungsbüro können Jacken und Taschen abgegebenwerden, eine Haftung kann leider nichtübernommen werden.

Räume und AusstellerDieTagungfindetimGebäudeGW2indenRäumenB2880(CateringundPoster),B2890 (Vortragssession), B2900 (Workshops), B1215 (Knowledge Cafés) und imHörsaalgebäudeinHS1010(Begrüßung,Keynotes,Abschluss)statt.DirektvordenRäumen im GW2 finden Sie Stände der Firmen LPLUS, IQUL und Electric PaperEvaluationssysteme.

PosterDie Poster werden durchgehend im Raum B2880 ausgestellt. Während der letzten halbenStundederMittagspauseamDienstagundMittwochstehendieAutorinnenund Autoren für Diskussionen bereit.

Essen und TrinkenIn RaumB2880 imGW2 stehenGetränke zurVerfügung,welche zu denPausenmitGebäckoderKuchenangereichertwerden.FürdasMittagesseninderMensafindenexterneTeilnehmendeEssensgutscheinefürbeideTage(bitteKasse2und3nutzen). Für das ePS ist ein eigener Sitzbereich reserviert. Die Mensa liegt ca. 250m entfernt:VomGW2ausnachlinksdemBoulevardbzw.denMassenfolgen.

AbendveranstaltungFürdieAbendveranstaltung im „Haus amWalde“findenTeilnehmende, die sichbei der Registrierung dafür angemeldet haben, in den Tagungsunterlagen ein Einlassband,dasSiebittezurAbendveranstaltunganlegen.Das„HausamWalde“(sieheLageplan)liegtca.1kmvomTagungsortentferntundistinetwa15Min.zuFußzuerreichen.PerÖPNVnutzenSiebittedieBuslinie22,Haltestelle„Munte“.

WLANAufdemgesamtenCampusisteduroamverfügbar.AlsAlternativefindenSieindenTagungsunterlagenpersonalisierteZugangsdatenfüreinenGastaccount.

Allg

emei

ne In

fos

7

Allg

emei

ne In

fos

Vom Zentralbereich

indieGlashalle,

auf dem Boulevard nach rechts und dann

vor dem Hörsaalgebäude wieder rechts.

8

Lageplan

Allg

emei

ne In

fos

9

Allg

emei

ne In

fos

10

Allg

emei

ne In

fos

Tagungsort

11

Allg

emei

ne In

fos

GW2B2890

Hörsaalgebäude 1010 Kleiner Saal

LernraumGW2B1215

Testcenter

12

09:30

Regi

strie

rung

10:3

0Be

grüß

ung–J.Bü

cking,T.Hoff

meister

10:5

0Le

rnen

und

Prü

fen

im d

igita

len

Zeita

lter

– J.-

D. F

riedr

ich

11:3

5M

ultip

le-C

hoic

e-Pr

üfun

gen

an H

ochs

chul

en: C

hanc

en, H

erau

sfor

deru

ngen

und

For

schu

ngsp

ersp

ektiv

en –

M.A

. Lin

dner

12:2

0Sy

nops

is –

K. W

olf

12:3

0M

ittag

spau

se (M

ensa

)Po

ster

auss

tellu

ng

Session 1

14:3

0Kr

iteriu

mso

rienti

erte

ada

ptive

Kla

usur

en a

n Ho

chsc

hule

n A.

Fin

k, S

. Bor

n, A

. Fre

y, C.

Spo

den

Workshop 1

Zwis

chen

Mul

tiple

Cho

ice

und

Frei

text

– E

-Prü

fung

en in

den

Gei

stes

wis

sens

chaft

en

M. S

trie

we

14:5

5Fo

rmati

ve, a

dapti

ve M

athe

mati

ktes

ts –

M. P

iepe

r

15:2

0El

ektr

onis

che

Übu

ngen

und

Prü

fung

svor

leis

tung

en im

Be

reic

h de

r höh

eren

Mat

hem

atik

F.Nestle

r,D.Pott

s,Y.W

inkelm

ann

15:4

0Pa

use

Session 2

16:0

0M

it de

m E

-Por

tfolio

die

Por

tfolio

arbe

it di

gita

lisie

ren

– Hö

here

Kom

pete

nzst

ufen

im R

ahm

en d

es C

onst

ructi

ve

Alig

nmen

ts e

lekt

roni

sch

prüf

en–C.H

offman

n,C.V

ogeler

Knowledge Café 1

Qua

lität

ssic

heru

ng v

on T

estf

rage

n –

Test

stati

stike

n au

swer

ten,

Fra

gen

und

Aufg

aben

ve

rbes

sern–S.K

irberg,Y.Fisc

her

Test

dida

ktisc

he S

chul

unge

n zu

r Qua

lität

ssic

heru

ng –

X.V

. Jer

emia

s

Wie

unf

air!

Die

neu

en P

rüfu

ngsi

tem

s sin

d do

ch v

iel s

chw

ierig

er a

ls d

ie a

lten

– ei

n em

piris

cher

Lös

ungs

ansa

tz–J.Backh

aus,H.Poinstin

gl,C

.Rab

e,S.K

önig,E.H

enne

l

Akze

ptan

z von

E-A

sses

smen

t aus

der

Sic

ht v

on S

tudi

eren

den

K.Sesselm

ann,S.Zep

f,M.G

läser-Z

ikud

a

16:2

5M

öglic

hkei

ten

zur P

rüfu

ng d

es o

utco

mes

For

sche

nden

Le

rnen

s mitt

els a

ltern

ative

r, di

gita

ler P

rüfu

ngsf

orm

en

O. A

hel,

L. S

chle

ker

16:5

0Pe

er-A

sses

smen

t als

hoc

hsch

uldi

dakti

sche

s Ins

trum

ent

zur A

ktivi

erun

g vo

n st

uden

tisch

en L

ernp

roze

ssen

und

de

ssen

web

basi

erte

Um

setz

ung

in P

AssT

! H.

W. W

olle

rshe

im, N

. Pen

gel

17:1

5W

orks

hopb

eric

ht /

Tag

esab

schl

uss (

bis 1

7:45

)

18:0

0Te

stce

nter

führ

ung

– K.

Sch

wed

es (b

is 18

:30)

19:00

Aben

dver

anst

altu

ng im

Hau

s am

Wal

de

Dien

stag19.09

.201

7

Prog

ram

m

13

09:15

Aufta

kt /

Org

anis

ator

isch

es

09:30

Inno

vativ

e Er

hebu

ngs-

und

Aus

wer

tung

smet

hode

n in

Lar

ge-S

cale

Ass

essm

ents

– U

. Krö

hne,

F. Z

ehne

r

10:1

5Pa

use

Session 3

10:3

0N

RW-L

eitfa

den

zur s

yste

mati

sche

n U

nter

stüt

zung

. N

achh

altig

e, se

mes

terü

berg

reife

nde

Begl

eitu

ng b

ei d

er

Impl

emen

tieru

ng v

on E

-Ass

essm

ents

. M.G

raf-S

chlattman

n,L.M

.Fortm

ann,D.M

eister,G

.Oevel

Workshop 2

Varia

bilit

ät in

Pro

gram

mie

rauf

gabe

n M.Striewe,B.O

tto

10:5

5De

r Weg

in d

ie H

ochs

chul

e –

Proz

esse

zur E

tabl

ieru

ng

hoch

schu

lwei

ter E

-Prü

fung

en –

A.M

. Kel

ler,

S. K

irber

g

11:2

0Di

e G

esta

ltung

von

E-P

rüfu

ngen

mit

dem

E-A

sses

smen

t-Li

tera

cy-T

ool E

As.L

iT –

H.W

. Wol

lers

heim

, N. P

enge

l, A.

Tho

r

11:4

5Ha

ndlu

ngse

mpf

ehlu

ngen

zu

re

chtli

chen

Fr

agen

be

i E-

Asse

ssm

ents

– N

. Hah

ne

12:1

0M

ittag

spau

se (M

ensa

)Po

ster

auss

tellu

ng

Session 4

13:4

0Ju

ristis

che

Vollt

ext-E

-Kla

usur

en–A.H

offman

n,M

.Sau

er

Knowledge Café 2

Frag

enge

stal

tung

im F

ach

„Sta

tistik

“ –

M. M

isson

g

Erfa

hrun

gen

mit

eine

r ele

ktro

nisc

hen

Ope

ratio

ns-R

esea

rch-

Prüf

ung

mit

OPA

L/O

NYX

B.Schmidt,M.G

rüttmüller,J.Weigel

Blen

ded

Asse

ssm

ents

: Wie

kön

nen

und

war

um so

llten

mün

dlic

he P

rüfu

ngen

mit

e-Pr

üfun

gen

kom

bini

ert w

erde

n?–M

.Gun

dlach,A.B

rocker,K

.Hap

s,M

.Karam

i,M.

Baum

ann

Inno

vativ

e E-

Prüf

unge

n in

der

Med

izin

mit

Case

Trai

n –

A. H

örnl

ein

14:0

5Pr

ogra

mm

iere

n le

rnen

mit

Serio

us G

ames

– e

in

Erfa

hrun

gsbe

richt

.–P.Gam

per,W.B

arod

te

14:3

0eP

rüfu

ng O

n-De

man

d –

Indi

vidu

ell L

erne

n, in

divi

duel

l Pr

üfen

– B

. Mar

kert

, M. K

aram

i

15:0

0W

orks

hopb

eric

ht u

nd Z

usam

men

fass

ung

(bis

16:0

0 U

hr)

Mittwoch20

.09.20

17

B286

0/61

HS10

10B2

880

B289

0B2

900

Lern

raum

B12

15

Prog

ram

m

14

Abstracts

Keynotes .......................................................................................16 Lernen und Prüfen im digitalen Zeitalter ..........................................16 Multiple-Choice-PrüfungenanHochschulen:Chancen, HerausforderungenundForschungsperspektiven ...........................17 InnovativeErhebungs-undAuswertungsmethodenin Large-Scale Assessments ..................................................................18Session 1 .......................................................................................20 KriteriumsorientierteadaptiveKlausurenanHochschulen ..............20 Formative,adaptiveMathematiktests .............................................22 Elektronische Übungen und Prüfungsvorleistungen im BereichderhöherenMathematik ....................................................24Session 2 .......................................................................................26 MitdemE-PortfoliodiePortfolioarbeitdigitalisieren–Höhere KompetenzstufenimRahmendesConstructive Alignments elektronisch prüfen .......................................................26 Möglichkeiten zur Prüfung des outcomes Forschenden Lernensmittelsalternativer,digitalerPrüfungsformen ....................28 Peer-AssessmentalshochschuldidaktischesInstrumentzur AktivierungvonstudentischenLernprozessenunddessen webbasierte Umsetzung in PAssT! ...................................................30Session 3 .......................................................................................32 NRW-LeitfadenzursystematischenUnterstützung.Nachhaltige, semester-übergreifende Begleitung bei der ImplementierungvonE-Assessments. .............................................32 Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen ..........................................................34 DieGestaltungvonE-Prüfungenmitdem E-Assessment-Literacy-Tool EAs.LiT ..................................................36 Handlungsempfehlungen zu rechtlichen Fragen bei E-Assessments ................................................................38Session 4 .......................................................................................40 JuristischeVolltext-E-Klausuren ........................................................40

15

ProgrammierenlernenmitSeriousGames-einErfahrungsbericht 42 ePrüfung On-Demand – Individuell Lernen, individuell Prüfen ........44Workshop 1 ...................................................................................46 Variabilität in Programmieraufgaben ...............................................46Workshop 2 ...................................................................................47 ZwischenMultipleChoiceundFreitext-E-Prüfungen indenGeisteswissenschaften ..........................................................47Knowledge Café 1 ..........................................................................48 QualitätssicherungvonTestfragen–Teststatistikenauswerten, Fragen und Aufgaben verbessern .....................................................48 TestdidaktischeSchulungenzurQualitätssicherung .........................50 Wie unfair! Die neuen Prüfungsitems sind doch viel schwieriger als die alten – ein empirischer Lösungsansatz ..............52 Akzeptanz von E-Assessment aus der Sicht von Studierenden ........54Knowledge Café 2 ..........................................................................56 FragengestaltungimFach„Statistik“ ................................................56 Erfahrungen mit einer elektronischen Operations-Research-PrüfungmitOPAL/ONYX ................................58 Blended Assessments: Wie können und warum sollten Mündliche Prüfungen mit e-Prüfungen kombiniert werden? ............................60 InnovativeE-PrüfungeninderMedizinmitCaseTrain .....................62Poster ............................................................................................64 E-Assessment im Musikunterricht ....................................................64 ComputerbasiertesadaptivesTestenimStudium–CaTS ................66 StudentischeLehr-Lern-VideosalsBasisfür kompetenzorientiertePrüfungsformeninderMedienbildung angehen der Pä dagog*innen.............................................................68 MathOER:OffenerAufgabenpoolMathematik ................................70 JDB - Eine Bibliothek für Java-Debugging im Browser ......................72

16

DiegrundlegendeHerausforderungdesinitialenHochschulforumsDigitalisierung lag darin, das Thema `Digitales Lehren und Lernen´ auf die hochschulpolitische Agenda und in die Wahrnehmungder Hochschulleitungen wie der Hochschullehrenden zu bringen. Das Hochschulforum hat dies im Rahmen der Arbeit von sechs Themengruppen mit zahlreichen Studien, Veranstaltungen und einer intensiven Öffentlichkeitsarbeit getan, systematisch denStatus Quo und das Potential der Digitalisierung an deutschenHochschulen erfasst und erste Lösungsvorschläge entwickelt. Damit

wurdederGrundsteinfüreinezukunftsgewandteWeiterentwicklungderHochschulbildungin Deutschland gelegt.

In seinem Vortrag wird Julius-David Friedrich vom CHE Centrum für Hochschulentwicklung die letzten drei Jahre des Hochschulforums Digitalisierung aufgreifen und die Ergebnisse und Empfehlungen des Hochschulforums Digitalisierung anreißen sowie die Prozesse dieses besonderen bundesweiten Netzwerks beleuchten. Zudem wird er aufzeigen, was die nächsten Schrittedesab1.Januar2017gestartetenneueHochschulforumDigitalisierung(HFD2020)sein werden, die dazu beitragen sollen, Hochschulen bei der strategischen Verankerung der Digitalisierung und deren Nutzung in der Lehre zu unterstützen.

Das Hochschulforum Digitalisierung wurde 2014 gegründet. Es ist eine gemeinsame Initiative des Stifterverbandes für die DeutscheWissenschaftmit dem CHE Centrum fürHochschulentwicklungundderHochschulrektorenkonferenz(HRK).GefördertwirdesvomBundesministerium für Bildung und Forschung.

WeitereInformationenunter:https://hochschulforumdigitalisierung.de

Zur Person:

Julius-David Friedrich ist im CHE Centrum für Hochschulentwicklung als Projektleitung des Hochschulforums Digitalisierung 2020 tätig. Er studierte Wirtschaftswissenschaften undManagementvonKultur-undNon-Profit-OrganisationenanderUniversitätBielefeldundderTU Kaiserlauten und baute federführend das Hochschulforum Digitalisierung (HFD) zusammen mitdemStifterverbandfürdieDeutscheWissenschaftundderHochschulrektorenkonferenzaufundgehtderFragenach,wiediedigitaleZukunftderdeutschenHochschullehregestaltetwerden kann. Seine Arbeitsschwerpunkte liegen in den Themenbereichen Hochschulbildung imdigitalenZeitalterundinternationaleHochschulrankings.ImHFDentwickeltHerrFriedrichEmpfehlungen für denHochschulalltag, zeigt Handlungsoptionen auf strategischer EbenefürdieHochschulenauf,schreibtwissenschaftlicheStudienundleitetdieOrganisationvonVeranstaltungen.

Lernen und Prüfen im digitalen Zeitalter

JULIUS-DAVID FRIEDRICH

Keyn

otes

17

Hochschulen stehen infolge der Bologna-Reform europaweit vor der großen Herausforderung, von allen Studierenden in jedem Semester je Fach Prüfungsleistungen abzunehmen. Insbesondere Multiple-Choice-AufgabensindhierbeiaufGrunddervollständigautomatisierbarenundobjektivenAuswertungstarkindenFokusgerücktundfindenzunehmendEingangindenStudienalltag.Dochder Einsatz dieses Formates birgt nicht nur Chancen, sondern ist auchmitRisikenundvielenFragenverbunden:KönnenMultiple-Choice-Aufgaben gegenüber Freitextaufgaben die Lern- und Verstehensleistung tatsächlich adäquat erfassen? Welchen Einfluss hat die Verwendung von Multiple-Choice-Aufgaben aufdas Lernverhalten Studierender? Wie kann man dem Problem der Ratewahrscheinlichkeit begegnen? Welche Aufgabenformate eignensichimHochschulkontextundwelchespezifischenChancenbieten digitale Prüfungen?

Mögliche Antworten auf diese und angrenzende Fragen werden in der Keynote basierend auf demaktuellenStandderForschungdiskutiert,währendForschungslückenund zukünftigeForschungsfelder aufgezeigt werden. Ziel des Vortrags ist es auch, für die vielfältigenHerausforderungen bei der Konstruktion hochwertiger Multiple-Choice-Prüfungen zusensibilisieren und zentrale Themenfelder aufzuzeigen, die für einen adäquaten Einsatz des Multiple-Choice-FormatesanHochschulenzuberücksichtigensind.

Zur Person:

Dr.MarlitAnnalenaLindneristDiplom-Psychologinundarbeitetseit2011alswissenschaftlicheMitarbeiterin am Leibniz-Institut für die Pädagogik der Naturwissenschaften undMathematik(IPN)inKiel.ZudemlehrtsiealsDozentinfürPädagogischePsychologieanderChristian-AlbrechtsUniversitätKiel.InihrerForschungbeschäftigtsiesichmitkognitivenundmotivationalenProzessenbeiderBearbeitungvonLeistungstests,Multimedia-Effekten imTestkontextsowiePrinzipienderKonstruktionvonTestaufgabenfürdieLeistungsdiagnostik.Neben einschlägigen internationalen Publikationen in pädagogisch-psychologischenFachjournalen hat sie mit ihren Koautoren Benjamin Strobel und Prof. Dr. Olaf Köller einen umfassenden Literaturüberblick zu Multiple-Choice-Prüfungen an Hochschulen in derZeitschriftfürPädagogischePsychologieveröffentlicht(Lindner,Strobel&Köller,2015).DieserzeigtwichtigenForschungsbedarfaufundbeinhaltetunteranderemAnknüpfungspunktefürdieWeiterentwicklungvonE-AssessmentsmitMultiple-Choice-Aufgaben.DaranangelehnteFragestellungen sind auch Bestandteil ihrer aktuellen Forschung, in der sie unter anderem experimentelle Studien unter Verwendung der Methode der Blickbewegungsmessung (Eyetracking) zur Untersuchung von Testaufgaben realisiert.

Multiple-Choice-Prüfungen an Hochschulen: Chancen, Herausforderungen und Forschungsperspektiven

MARLIT ANNALENA LINDNER

Keyn

otes

18

Technologiebasiert erhobene Daten aus nationalen und internationalen Large-ScaleAssessments, wie bspw. dem NationalenBildungspanel (NEPS), dem Programme for International Student Assessment (PISA)und dem Programme for the InternationalAssessment of Adult Competencies (PIAAC) erreichen zunehmend mehr Forscherinnen und Forscher. Technologiebasierte Assessments bilden damit zunehmend die gängige Praxis in der empirischen

Bildungsforschung.DerNutzeninnovativerErhebungs-undAuswertungsmethodenistabernichtaufsummativelow-stakeAssessmentsbeschränkt.IllustriertmitaktuellenempirischenBeispielen werden ausgewählte Potentiale und Forschungsfragen technologiebasierterAssessments vorgestellt: Möglichkeiten simulationsbasierter Assessments zur Erfassungneuer Konstrukte; die Nutzung der durch technologiebasiertes Assessment zusätzlich erhobenenLog-undProzessdaten,bspw.fürdieIdentifikationvonschnellemRateverhalten,zur Ableitung von Hinweisen über Testbearbeitungsstrategien und zur Modellierung von Bearbeitungszeiten von Antworten aus papier- und computerbasierter Testung; die Möglichkeiten und Grenzen der Standardisierung und Flexibilisierung von Assessmentsdurch computerbasierte Auslieferung; sowie das Leistungsvermögen moderner Verfahren derTestzusammenstellungzurErhöhungvonMessgenauigkeitundzurBerücksichtigungvonnicht-psychometrischen Kriterien bei der Zusammenstellung von Assessments.

Zu den Personen:

Dr. Ulf Kröhne und Dr. Fabian Zehner sind Habilitanden am Zentrum für technologiebasiertes Assessment des Deutschen Instituts für Internationale Pädagogische Forschung (DIPF)in Frankfurt. Das Zentrum für technologiebasiertes Assessment entwickelt innovativetechnologiebasierte Verfahren zur Erfassung von Lernergebnissen. Es betreibt grundlagen- und anwendungsorientierte Forschung und unterstützt Einrichtungen und Projekte derBildungsforschung bei der Entwicklung und Implementation von technologiebasiertemAssessment. Dazu gehören auch nationale und internationale Large-Scale-Studien, z.B.PISA , PIAAC oder NEPS. Dr. Kröhne beschäftigt sich unter anderem mit der NutzungcomputerbasierterAssessmentszur lernbegleitendenDiagnostikmittelsRückmeldungderdiagnostischenInformationenindieUnterrichtspraxis.EinweitererForschungsschwerpunktist die Untersuchung von Antwortprozessen mittels Diffusionsmodellen und digitalenKugelschreibern. Dr. Zehner ist Psychometriker und forscht u.a. zu automatisierterAuswertung von Kurztextantworten in empirischen Erhebungsinstrumenten, EducationalLarge-ScaleAssessmentsundkognitionsbasierten, schwierigkeitsgenerierendenRegeln fürLeistungstest-Items.

Innovative Erhebungs- und Auswertungsmethoden in Large-Scale Assessments

ULF KRÖHNE & FABIAN ZEHNER

Dr. Ulf Kröhne Dr. Fabian Zehner

Keyn

otes

19

20

Das Ausmaß, mit dem Studierende die Studienziele ihres Hochschulstudiums erreichen, wird im Kern am Abschneiden bei Prüfungen festgemacht. In der Europäischen Union erfolgt die Spezifikation der Studienziele seit Inkrafttreten der Bologna-Reform flächendeckendals Kompetenzen, die man nach Klieme und Leutner als domänenspezifische kognitiveLeistungsdispositionendefinierenkann[1].ImSinnederKompetenzorientierungistesdahernötig, dass auch die an Hochschulen durchgeführten Prüfungen dahingehend angepasstwerden, dass sie überprüfen, über welche Kompetenzen die Studierenden am Ende eines Moduls verfügen. Da ohne erfolgreich absolvierte Prüfungen ein Studienabschluss nicht erlangt werden kann, kommt Prüfungen eine hohe persönliche Relevanz für die Studierenden zu. Dieser hohen Bedeutung werden insbesondere schriftliche Prüfungenin Form von Klausuren typischerweise nicht gerecht. Vielmehr klaffthier eine erheblicheLücke zwischen dem an deutschen Hochschulen üblicherweise praktizierten VorgehenunddemwissenschaftlichenKenntnisstandder relevantenTeildisziplinen (v.a.EducationalMeasurement und Psychometrie).

ProblematischanderzeitigenHochschulklausurensindimWesentlichenvierAspekte:

1.DieindenModulkatalogenverankerten,kompetenzorientiertenLernzielewerdendurchdie Klausuraufgabenmeistens nicht angemessen abgebildet. Zur Lösung der Problematikmüsste zunächst der Messgegenstand der jeweiligen Klausur eindeutig spezifiziert undanschließendangemessendurchKlausuraufgabenoperationalisiertwerden.

2. Klausuren sind überwiegend als normorientierte beziehungsweise sich an willkürlichfestgelegten Kriterien orientierende Verfahren konzipiert. Um Klausurergebnisse alsAusmaßdesErreichens kompetenzorientierter Lernziele interpretieren zu können, solltenkriteriumsorientierte Tests zum Einsatz kommen, wobei die jeweiligen Kriterien übersogenannteStandardSettingVerfahrenfestgelegtwerden.

3. Klausuren sind zwischen verschiedenen Testzeitpunkten (z.B Jahren) nicht statistischmiteinander verbunden, so dass Unabhängigkeit der vergebenen Bewertungen (z.B. Noten) von Kohortenleistungsfähigkeit und Klausurschwierigkeit nicht gewährleistet sind. Dieses Problem kann vermieden werden, indem mit Modellen der Item Response Theory (IRT; z.B. [2])KlausurenüberTestzeitpunkteverbundenwerden,sodassindividuelleKlausurergebnisseimmer auf derselben Metrik verortet werden und so über die Klausurzeitpunkte hinweg vergleichbar bleiben.

4.ÜblicheKlausurenmessenimmittlerenLeistungsbereichampräzisesten,wohingegendieMesspräzisionindenRandbereichenderMerkmalsverteilungstarkabnimmt[3].

Aron Fink1, Sebastian Born1, Andreas Frey1,2, Christian Spoden1,

1Lehrstuhl für empirische Methoden der erziehungswissenschaftlichen Forschung, Friedrich-Schiller-Universität Jena, Deutschland2Centre for Educational Measurement (CEMO), University of Oslo, Norwegen E-Mail: aron.fink@uni-jena.de, sebastian.born@uni-jena.de, andreas.frey@uni-jena.de, christian.spoden@uni-jena.de

Kriteriumsorientierte adaptive Klausuren an Hochschulen

Sess

ion

1

21

Eine Angleichung der Messpräzision über den gesamten Merkmalsbereich kann mit computerisiertenadaptivenTesten(CAT;z.B.[4])erreichtwerden.ImVortragwirderörtert,wiedieseProblemedurchdieKombinationderangesprochenenMethodenausdenBereichenEducationalMeasurementundPsychometriegelöstwerdenkönnen.EswirdsichdabeianmodernenAnsätzender theoriebasiertenKonstruktionvonKompetenztests [5],diebeispielsweisebei internationalenSchulleistungsstudienwiePISAundoderdemLändervergleichverwendetwerden,orientiert.Konkretwirdeinhochschul-und fächerübergreifendes Konzept zur Konstruktion, Administration und AuswertungkriteriumsorientierteradaptiverKlausurenanHochschulenvorgestellt.

Keywords:

E-Klausuren,Kompetenzdiagnostik,ComputerisiertesAdaptivesTesten

Quellen:

[1] Klieme, E., & Leutner, D. (2006). Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bildungsprozessen. Beschreibung eines neu eingerichteten Schwerpunktprogramms der DFG. Zeitschrift für Pädagogik, 52, S. 876–903.

[2] van der Linden, W. J. (Hrsg.). (2016a). Handbook of item response theory. Volume one: Models. Boca Raton: Chapman & Hall/CRC.

[3] Dolan, R. P., & Burling, K. S. (2012). Computer-based testing in higher Education. In: C. Secolsky & D. B. Denison (Eds.), Handbook on measurement, assessment, and evaluation in higher education. S. 312-335. New York, NY: Routledge.

[4] Frey, A. (im Druck). Computerisiertes adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (3. aktualisierte und überarbeitete Auflage. Berlin, Heidelberg: Springer.

[5] Frey, A., & Hartig, J. (im Druck). Kompetenzdiagnostik. In M. Gläser-Zikuda, Harring, M., & Rohlfs, C. (Hrsg.), Handbuch Schulpädagogik. Münster: Waxmann.

Sess

ion

1

22

ImVortrag„Formative,adaptiveMathematiktests“werdenVorteileundNeuentwicklungenimBereichdesformativenE-Assessments in ingenieurwissenschaftlichenVeranstaltungen,speziellimBereichderIngenieurmathematik,vorgestelltunddiskutiert.

E-Assessment, egal ob diagnostisch, formativ oder summativ, stellt einen wichtigenBestandteil der zukünftigen, digitalen Hochschullehre dar. So findenwir bei Handke undSchäfer[1],dassdigitaleLernformatenurdannihrevolleWirkungentfaltenkönnen,wennsiemit dem kompletten Lehr-Lernprozess verzahnt sind. Dieser umfasst im Rahmen des3E-Modells insbesondere auch E-Assessment.Weiter ermittelten Schneider undMustafic[2]einekombinierteEffektstärkevonbis zu0.9 inMetastudiendafür,dass regelmäßiges,strukturiertes Prüfen den Lernerfolg verbessert.

Im Vortrag wird im Wesentlichen der Inhalt des Forschungsvorhabens „Mathe digital!“,welches2017imRahmenderFellowshipsfürInnovationeninderdigitalenHochschullehrevom Stifterverband unterstützt wird, vorgestellt. Das Hauptanliegen des Projektes istaufgrund der zunehmenden Heterogenität der Studienanfänger eine individuelle Förderung allerStudierenden,insbesonderedurchdigitaleLernangeboteimBereichderMathematik.Hierzu sollen u.a. semesterbegleitende Onlinetests durch regelmäßiges Feedback einen Beitrag leisten, die unterschiedlich vorhandenen Kompetenzen der Studierenden besser angleichen und gezielter auf die Abschlussklausur vorbereiten.

UmdieseZieleerreichenzukönnen,benötigenwirTests,dieindividuellaufdiejeweiligenBedürfnisse der Studierenden zugeschnitten sind. Dies soll durch adaptive Onlinetestserreicht werden. Hierbei werden die Fragen dem bisherigen Leistungsstand der jeweiligen Studierenden angepasst, so dass individuelle Lücken erkannt und gezielt behoben werden. Dieseskannz.B.durcheinenlernzielorientiertenILIAS-Kurserreichtwerden.

AlsweitereHerausforderungmüssendie formativenTests sogestaltetwerden,dassauchwirklich alle Lernziele der jeweiligen Veranstaltung abgedeckt werden. Im Bereich der Mathematik,aberauchinandereningenieurwissenschaftlichenDisziplinen,bedeutetdies,dassinsbesondereauchZwischenschritteinderLösungbewertetwerdenundnichtnurdasEndergebnis. Hierzu werden vor allem sogenannte Stack Fragetypen verwendet, die sowohl ILIAS als auch Moodle unterstützt.

DaanderFHAachendieLernplattformILIASeingesetztwird,werdendieBeispieleaufBasisvonILIASpräsentiert.DieGrundideenlassensichaberauf jedeLernplattformübertragen.

Martin Pieper

FH Aachen, Fachbereich Energietechnik E-Mail: pieper@fh-aachen.de

Formative, adaptive Mathematiktests

Sess

ion

1

23

Interessant wäre hier insbesondere auch ein Austausch mit der Moodle-Community.

Ein weiteres Ziel des Fellowship Programms ist die Verstetigung und Verbreitung derentwickelten Ideen und Konzepte. Daher ist im Projekt „Mathe digital!“ vorgesehen, dieentwickelten Tests auch auf andere Fächer wie z.B. Physik zu transferieren. Deshalb kann der VortragauchfürKollegen/innenausmathenahen,ingenieur-odernaturwissenschaftlichenDisziplinen interessant sein.

Keywords:

FormativesE-Assessment,AdaptiveOnlinetests,MathematikindenIngenieurwissenschaften,StackFragetypen,LernzielorientierteKursansicht

Quellen:

[1] Handke J., Schäfer A. M. (2012). E-Learning, E-Teaching und E-Assessment in der Hochschullehre – Eine Anleitung. Oldenbourg Verlag, München

[2] Schneider M., Mustafic M. (2015). Gute Hochschullehre: Eine evidenzbasierte Orientierungshilfe. Springer, Berlin, Heidelberg

Sess

ion

1

24

Die Mathematik stellt eine wesentliche Grundlage in sämtlichen technischen sowienaturwissenschaftlichenDisziplinendarundistdaherausderberuflichenAusbildungnichtwegzudenken.HierbeisollteinsbesonderederaktiveLern-undVerständnisprozesssowiedas selbstorganisierte, individuelle Lernen durch entsprechende Übungsangebote gefördert werden.DasE-Assessment-ToolONYX,welchesindieLernplattformOPALintegriertistundan den sächsischen Hochschulen eingesetzt wird, bietet umfassende Möglichkeiten zur Erstellung elektronischer Übungsaufgaben. In den letzten Jahren wurde das Tool insbesondere hinsichtlichspeziellerAnforderungenmathematischerStudieninhalteangepasst,siehe[1].

AnderTechnischenUniversitätChemnitzsindderartigeÜbungs-undLernformatebereitsin verschiedene mathematische Lehrveranstaltungen integriert. Beispielsweise sind seitdem Wintersemester 2015/16 elektronische Übungsaufgaben Teil der Vorlesung zurHöherenMathematikfürStudierendeimBereichMaschinenbau.ZusätzlichzumregulärenVorlesungs- und Übungsbetrieb absolvieren die Studierenden hierbei ein Praktikum,welches das selbstständige Bearbeiten von elektronischen Übungsaufgaben im laufenden Semester beinhaltet. Die Studierenden können zunächst zahlreiche Übungsaufgaben beliebigoftwiederholen.AusführlicheMusterlösungenzuallenAufgabensollendabeidasselbstgesteuerte Lernen erleichtern. Zusätzlich werden feste Termine für das Praktikumangeboten, zu denen Dozenten für Fragen zur Verfügung stehen. Am Ende eines jeden Themenkomplexes ist dann ein abschließender Test zu absolvieren. Die insgesamt vier elektronischenTestssindallesamtzubestehen,umzurschriftlichenPrüfungamEndedesSemesters zugelassen zu werden.

Die elektronischen Übungskomponenten sind nicht als Ersatz von Vorlesung und Präsenzübung anzusehen, sondern vielmehr als ein zusätzliches Angebot zum bedarfsorientiertenVertiefendergrundlegendenInhalte.AnstellevonschriftlichenHausaufgabensindhierdieelektronischen Tests als Prüfungsvorleistung fest verankert. Im Wintersemester 2015/16nahmen über 250 Studierende an der Lehrveranstaltung zur Höheren Mathematik fürMaschinenbauer (1. Semester) teil. Vergleichbare Zahlen sind für die Folgesemester zu erwarten.MittelseinerEvaluationamEndedesWintersemesters2015/16konntenüberauspositiveRückmeldungenvonSeitenderStudierendeneingeholtwerden,sieheAbbildung1.

Ähnliche Szenarien sind bereits in weiteren mathematischen Serviceveranstaltungenetabliertundgeplant.DiesbetrifftunteranderemdieMathematikausbildungfürStudierendederFakultätenElektrotechnikundInformatiksowiederWirtschaftswissenschaften.

Franziska Nestler1, Daniel Potts1, Yvonne Winkelmann2

1Fakultät für Mathematik, Technische Universität Chemnitz, Deutschland2BPS Bildungsportal Sachsen GmbH, Deutschland E-Mail: franziska.nestler@mathematik.tu-chemnitz.de, potts@mathematik.tu-chemnitz.de, yvonne.winkelmann@bps-system.de

Elektronische Übungen und Prüfungsvorleistungen im Bereich der höheren Mathematik

Sess

ion

1

25

Abb. 1: Einige Ergebnisse der Evaluation des E-Learning Praktikums im Wintersemester

2015/16.

Im Rahmen des Projektes ELMAT wurde das frei verfügbare Computer-Algebra-System MAXIMA an die ONYX Testsuite angebunden, siehe [1]. Hieraus ergeben sich eine Reihevon Möglichkeiten für die Erstellung abwechslungsreicher, individualisierter Aufgaben. Unabhängig vom Aufgabentyp können vom Autor Variablen definiert werden. Mithilfevon MAXIMA können dann komplexe Rechnungen basierend auf den zufällig gewählten Parametern realisiert werden. So kann einem Studierenden für jeden Aufgabenversuch eineneueAufgabemitandererLösungpräsentiertwerden.DiesbietetdenTeilnehmerndieMöglichkeit,einebestimmteAufgabenstellungmehrfachmitneuenWertenzuwiederholen.BasierendaufMAXIMAkönnenauchkomplexeFormelninterpretiertundweiterverarbeitetwerden. Dadurch können die Studierenden ihre Antworten auch als Formeln eingeben. Nicht nur Zahlenwerte, sondern auch umfangreiche mathematische Terme kommen alsLösungsobjekte mathematischer Aufgaben infrage. Mittels beliebig komplexer MAXIMA-Anweisungen ist es den Aufgabenautoren außerdem möglich, die Lösungen der Studierenden besser automatisch zubewerten. So kannbeispielsweise auch aufNichteindeutigkeit derLösung sowie auf die Beachtung von Folgefehlern eingegangen werden.

Keywords:

E-Assessment,mathematischeAssessments,elektronischePrüfungsvorleistungen

Quellen:

[1] Nestler F., Winkelmann Y. (2014). Elektronische Übungs- und Bewertungstools für Mathematikveranstaltungen, in: E-Learning: Zukunft oder Realität, 12. Workshop on e-Learning, S. 75-82

Sess

ion

1

26

SeitderBolognaReformwirdangestrebt,Hochschullehrekompetenzorientiertzugestalten[1]. Lehr-Lernprozesse sollen so arrangiert werden, dass Studierenden das ErreichendefinierterLearningOutcomesermöglichtwird[1].DieanHochschuleneingesetztenFormenderLeistungsbeurteilungsindjedochhäufignichtgeeignetumzuüberprüfen,inwieweitdieStudierendendieseIntendedLearningOutcomesauchtatsächlicherreichthaben[2].GeradekomplexenLernzielenwerdenkonventionelleFormensummativerLeistungsüberprüfungenkaumgerecht[3].DaPrüfungsformensichabermaßgeblichaufdasLehr-undLernhandelnder Beteiligten auswirken [2], wird unter Bezugnahme auf den Begriff des ConstructiveAlignmentnachBiggs[4]gefordert,Lehren,LernenundPrüfenzueinanderinBeziehungzusetzen[1].

Der Portfolioarbeit wird zugeschrieben, ebenfalls eine Brückenfunktion zwischen Lehren,Lernen und Prüfen einnehmen zu können [2, 4]. Unter Bezugnahme auf die erzielbarenMehrwerte [5]digitalunterstützterPortfolioarbeit,wiedenMöglichkeiteneiner zeit-undortsunabhängigenGestaltung,derVernetzungundKollaboration,derWiederverwendbarkeitvon Artefakten sowie der einfachen Verbreitung und Teilung von Inhalten, scheinen E-PortfoliosdieklassischePortfolioarbeit,wieBiggs [4] sie inBeziehungzumConstructive Alignment setzt, sogarnochzuunterstützen.Für ihn istdiePortfolioarbeiteinklassischesInstrument zur Messung des functioning knowledge [4]. Dies lässt sich grobmit BloomsTaxonomie Stufen 3 Anwenden bis 6 Evaluieren vergleichen[3;siehezuWeiterentwicklungen:2]. Es stellt sich die Frage, wie die digitale Portfolioarbeit zu gestalten ist, damit sie eingeeignetes Assessment-Instrument bleibt.

UnsereTheseist,dassdiePortfolioarbeit–wennsiealsformativeslernprozessintegriertesAssessment-Format[3]eingesetztwird,indemSelbst-undFremdbeurteilungkombiniertsind– sowohl Lernenden Anknüpfungspunkte für gezieltes weiteres Lernen als auch Lehrenden Hinweise für die inhaltliche und methodische Weiterentwicklung von Lehrveranstaltungen bietet [2].Der EinsatzderdigitalenVarianteermöglicht dieunmittelbareKommunikationundRückkopplungvon Lernergebnissen, (formativer)BewertungundweitererGestaltungvon Lernaufgaben. Damit ist die E-Portfolio-Arbeit mit Mehrwerten gegenüber anderenkonventionellen Prüfungsformaten, wie bspw. Klausuren oder Hausarbeiten, verbunden.DerEinsatzvonE-PortfoliosalsInstrumentderkompetenzorientiertenLeistungsbeurteilungist bisher allerdings kaumuntersuchtworden [5]. ImFormatdesFlipped Conference Talk wollen wir deshalb diskutieren, inwiefern das E-Portfolio als E-Assessment-Instrumenteingesetzt werden kann, für welche Intended Learning Outcomes und Kompetenzniveaus es als Prüfungsmedium geeignet ist und welche Chancen und Herausforderungen sich

Christine Hoffmann1, Claudia Vogeler2

1Fakultät Wirtschaft und Soziales, HAW Hamburg, Deutschland2Arbeitsstelle Studium und Didaktik, HAW Hamburg, Deutschland E-Mail: christine.hoffmann@haw-hamburg.de, claudia.vogeler@haw-hamburg.de

Mit dem E-Portfolio die Portfolioarbeit digitalisieren – Höhere Kompetenzstufen im Rahmen des Constructive Alignments elektronisch prüfen

Sess

ion

2

27

für Lernende, Lehrendeund die InstitutionHochschule ergeben. ImVideo stellenwir alsGrundlagefürdieDiskussiondiePortfolioarbeitalsdidaktischeMethodevor,wiesienachBiggs mit dem Constructive AlignmentinVerbindungsteht,undbeziehendiesaufpraktischeErfahrungenmitdemEinsatzvonE-PortfoliosanderHAWHamburg.

Keywords:

E-Portfolio, formative Leistungsüberprüfung, Kompetenzorientierung, ConstructiveAlignment,Portfolio

Quellen:

[1] Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. HRK-Fachgutachten ausgearbeitet für die HRK von Niclas Schaper unter Mitwirkung von Oliver Reis und Johannes Wildt sowie Eva Horvath Elena Bender. Berlin: BMBF

[2] Häcker, T. (2005). Portfolio als Instrument der Kompetenzdarstellung und reflexiven Lernprozesssteuerung. In: bwp@ Nr. 8. http://www.bwpat.de/ausgabe8/haecker_bwpat8.pdf, zuletzt aufgerufen am 19.06.2017

[3] Wildt, J., Wildt, B. (2011). Lernprozessorientiertes Prüfen im „Constructive Alignment“. In: Berendt, B., Voss, H.-P., Wildt, J. (Hrsg.). Neues Handbuch Hochschullehre. Lehren und Lernen effizient gestalten. [Teil] H. Prüfungen und Leistungskontrollen. Weiterentwicklung des Prüfungssystems in der Konsequenz des Bologna-Prozesses. (pp. H6.1,46). Berlin

[4] Biggs, J., Tang, C. (2011). Teaching for Quality Learning at University. Fourth Edition. Maidenhead [u.a.]: McGraw-Hill, Society for Research into Higher Education & Open University Press

[5] Egloffstein, M., Frötschl, C. (2011). Leistungsdarstellung im E-Portfolio-Assessment. Eine empirische Analyse im Hochschulkontext. In: zeitschrift für e-learning. Lernkultur und bildungstechnologie. E-Portfolios 6/2011 (3), S. 51-62

Sess

ion

2

28

Möglichkeiten zur Prüfung des outcomes Forschenden Lernens mittels alternativer, digitaler Prüfungsformen

Oliver Ahel, Lisa Schleker Virtuelle Akademie Nachhaltigkeit, Universität Bremen, Deutschland E-Mail: oliver.krause@uni-bremen.de, schleker@uni-bremen.de

Der eingereichte Beitrag soll anhand des Praxisbeispiels der Veranstaltung „NachhaltigesManagement“derVirtuellenAkademieNachhaltigkeitzeigen,wiedigitalePrüfungsformengestaltet sein können, um das Konzept des forschenden Lernens prüfbar zu machen.Im Sommersemester 2017 lief diese Veranstaltung als Pilotprojekt, um neue digitale Prüfungsformen zu testen.

Hintergrundüberlegungen zum Pilotprojekt: Eine der weitreichendsten gesellschafts-politischenHerausforderungenunserTageistdieVorbereitungkünftigerGenerationenaufeinekomplexeundglobalisierteZukunft,inwelchermitbegrenztenRessourcenumgegangenwerdenmuss.NeueLehr-/Lernformatemüssendazu sogestaltet sein,dassStudierendenjeneKompetenzenvermitteltwerden,welchesiebenötigen,uminderZukunftProblemezulösen,diegegenwärtignochnichtbekanntsind.InVerbindungmitdigitalerLehrescheintdasKonzeptdesforschendenLernenseingeeigneterAnsatzhierfür:kollaborativesArbeiten,derUmgangmitKomplexität,dieNutzungDigitalerMedienunddasreflexiveHinterfragenzielenaufdieVermittlungebenjenerbenötigtenHandlungskompetenzenab.

ErsteerfolgreichdurchgeführteProjektemitvergleichbaremSettinglassenhinsichtlichderWirksamkeitdieserFormateeinepositivePrognosezu.SowiesendieEvaluationsergebnisseeines ähnlich gelagerten Lehr-Lern-Szenarios der hamburg open online university (HOOU) einen signifikant höher eingeschätzten Wert für den Erwerb an Fach-, Methoden-,Kommunikations-undPersonalkompetenzenausalsdiesimVergleichzuklassischenLehr-Lern-FormatenderFallist(Braßler,Holdschlag&vandenBerk2017,S.25-29).

Bei der praktischen Umsetzung wird schnell deutlich, dass der Ansatz des ForschendenLernens ein hohes Maß an Betreuungsaufwand, insbesondere im Assessmentbereich, mit sichbringt(Reinmann2011,S.296).EsstelltsichalsodieFrage:

WiekönnenPrüfungssituationenkonzipiertsein,damitdieErreichungderLernergebnisseforschenden Lernens beurteilt werden können und mit geringem Betreuungsaufwand eine Betreuung von großen Kohorten ermöglicht wird?

Sess

ion

2

29

Umsetzung des Pilotprojektes: Durch den Einsatz digitaler Medien wurden bestimmteKomponenten des forschenden Lernens (kollaborative Umgebung, eigenständigesProduzieren von Inhalten) in die digitale Welt verlagert. Die neue Struktur der Veranstaltung und der Prüfungsformate inklusive technischer Hintergründe, Potenziale und Herausforderungen sollen in unserem Beitrag für das E-Prüfungs-Symposium beschrieben werden. Die Erfahrungen aus der Entwicklung dieser innovativen unddigitalisierten Prüfungsformen sollen verdeutlichen, was bereits möglich ist und wo noch weiterer Forschungs- und Entwicklungsbedarf besteht. Dafür werden erste Ergebnisse aus der (qualitativen und quantitativen) Evaluation der alternativen Prüfungsformen desPilotprojekteseingebunden.Die ErfahrungenausdemPilotprojekt könnendieGrundlagefür zukünftige Forschungsprojekte liefern und durch das Aufzeigen von Potenzialen undGrenzen eineWeiterentwicklung der Einsatzformen von digitalenMedien in der Prüfungdes outcomes von forschendem Lernen ermöglichen. Digitalisierte Lehre und forschendes Lernen können den Erkenntnisgewinn der Studierenden erheblich unterstützen und zugleich den Betreuungsaufwand der Lehrenden verringern. Diese Möglichkeiten nutzbar zu machen, ist unser Ziel.

Unser Beitrag ist als Flipped Conference Talk konzipiert. Wir freuen uns darauf, auf dem E-Prüfungs-Symposium über den Nutzen und die Grenzen der im Video vorgestelltenPrüfungsformatezudiskutieren.

Keywords:

ForschendesLernen,digitalisierteLehre,innovativePrüfungsformen,BlendedLearning

Quellen:

[1] Reinmann, G. (2011). Forschendes Lernen und wissenschaftliches Prüfen: die potentielle und faktische Rolle der digitalen Medien. In: T. Meyer, C. Tan, T. Schwalbe & R.Appelt (Hg.). Medien & Bildung. Institutionelle Kontexte und kultureller Wandel (S. 219-306). Wiesbaden: Springer VS

[2] Braßler, M., Holdschlag, A. & van den Berk, I. (2017). Nachhaltige Zukunftsperspektiven. Erstellung von Open Educational Resources (OER) in der Hochschullehre.URL:https://www.researchgate.net/profile/Mirjam_Brassler/publication/314263413_Nachhaltige_Zukunftsperspektiven_Erstellung_von_Open_Educational_Resources_OER_in_der_Hochschullehre/links/ [26.04.2017]

Sess

ion

2

30

Neben der inhaltlichen Aneignung von Wissensdomänen sind an Hochschulen forschungs- undarbeitsmethodischeKompetenzensowiederErwerbkollaborativerundkommunikativerKompetenzen imHinblick aufwissenschaftliches Arbeiten zentral.Module, die in diesemMaße akademische Kompetenzentwicklung fokussieren, erfordern vor dem Hintergrund des Constructive Alignment komplexe, authentische Prüfungssituationen, die dieHandlungsdimensionenindenBlicknehmenundTeildesstudentischenLernprozessessind.

Peer-Assessments, hier verstanden als (Vorschlags-)Bewertung von Studienleistungen durchStudierende,förderndieaktiveBeschäftigungmitdemLernstoffinkomplexerWeise,schärfendasBewusstseinfürdieQualitäteigenerwissenschaftlicherArbeitundförderndieKompetenz von Studierenden im Bereich Wissenschaftskommunikation. Darüber hinausermöglicht dieses Verfahren eine erhöhte Transparenz für den Bewertungsprozess, die ErhöhungdersubjektiverlebtenRelevanzderAufgabesowiedieVerbesserungvonTempound Qualität des Feedbacks im Lernprozess. Ein zusätzlicher Nutzen für die Studierenden liegt darin, dass sie sehr zeitnah zur Einreichung ihrer Exposés ein detailliertes und elaboriertes Feedback erhalten.

Vor diesem Hintergrund werden im Rahmen des Projektseminars „Analyselaufender Forschungsvorhaben“ im Masterstudiengang Begabungsforschung und Kompetenzentwicklung der Universität Leipzig seit einigen Semestern Peer-Assessments genutzt, um Studierende bei der Erstellung der Exposés ihrer Abschlussarbeiten zu begleiten. Dazu begutachten jeweils zwei Studierende (Reviewer 1 und Reviewer 2) auf Basis zuvor gemeinsamausgehandelterKriterienineinemzweistufigenPeer-Review-ProzesseinExposé(Abb. 1). Nach Abschluss des ersten Peer-Reviews (Review 1.1 und Review 2.1) haben die Studierenden die Möglichkeit, ihr Exposé zu überarbeiten und erneut einzureichen. Mit Abschluss des zweiten Peer-Reviews (Review 1.2 und Review 2.2) ist der Peer-Review-Prozess abgeschlossen. Punkte erhalten die Studierenden für ihre Exposés und ihre Reviews. Ein sehr gutes oder exzellentes Ergebnis ist daher nur auf der Basis guter Exposés und guter Reviews zu erzielen. Die Reviews der Studierenden stellen Vorschlagsbewertungen dar, die vom Seminarleitersupervidiertundbestätigtoderggf.verändertwerden.

Heinz-Werner Wollersheim, Norbert Pengel Professur für Allgemeine Pädagogik, Universität Leipzig, Deutschland E-Mail: wollersheim@uni-leipzig.de, norbert.pengel@uni-leipzig.de

Peer-Assessment als hochschuldidaktisches Instrument zur Aktivierung von studentischen Lernprozessen und dessen webbasierte Umsetzung in PAssT!

Sess

ion

2

31

Abb. 1: Ablauf eines Peer-Assessments in PAssT!

Um Peer-Assessments und damit das Lernen als sozialen Prozess niedrigschwelliger in verschiedenen Lernszenarien adressieren zu können sowie dem erheblichen organisatorischen Aufwand Rechnung zu tragen, haben wir gemeinsam mit dem Medienzentrum der TechnischenUniversitätDresdenineinemdurchdasSächsischeMinisteriumfürWissenschaftund Kunst (SMWK) geförderten Projekt das Peer-Assessment-Tool PAssT! entwickelt.

PAssT! ermöglicht u.a. die Anpassung der Begutachtungskriterien, die Sammlung und Zeitsteuerung des Uploads der Artefakte und Abgabe der Reviews, informiert die Studierenden in ihren Rollen als Autor und Reviewer über den Prozessablauf, gewährleistet die Verwaltung der Reviews und der Punkte sowie der Gesamtnote. Es ist zum einenunabhängig von Learning-Management-Systemen (LMS) einsetzbar und ermöglicht zum anderen diverse Anwendungsszenarien durch die Verarbeitung verschiedener Artefakte.

Im Rahmen eines Vortrags möchten wir dieses technologiegestützte Peer-Assessment-Verfahren vorstellen. Neben konzeptionellen Überlegungen werden wir auch auf ersteNutzungserfahrungen eingehen.

Keywords:

Peer-Assessment,ConstructiveAlignment,Wissenschaftskommunikation

Sess

ion

2

32

Der Einsatz elektronischer Assessments stellt Lehrende sowie Mitarbeiter in Technik und Verwaltung, der Führungsebene und den Justiziariaten vor unterschiedliche Probleme.Das Verbundprojekt E-Assessment NRW beschäftigt sich seit 3 Jahren mit ebendiesenProblemstellungen aus unterschiedlichen Perspektiven. In diesem Jahr wurde alszusammenfassendeDokumentation der Ergebnisse undAktivitäten bei derDurchführungvonE-AssessmentseinNRW-Leitfadenentwickelt,derineinemSession-Vortragexemplarischanhand eines Teilaspekts vorgestellt und diskutiert wird. Die leitende Fragestellung desVortrags ist dabei:Welche Aspektemüssen für eine nachhaltige, semesterübergreifendeBegleitungbeiderImplementierungvonE-Assessmentsberücksichtigtwerden?

In einer ersten Bestandsaufnahme des Projekts zum Einsatz von E-Assessments an Hochschulen in NRW stellte sich heraus, dass die Kernprobleme, die für alle Hochschulen bisher ein großes Hemmnis bei der breiten Etablierung und beim Ausbau von E-Assessmentangeboten darstellen, die rechtliche und organisatorische Klärung von Fragen in Bezug auf E-Prüfungen, die mögliche curriculare Einbindung von E-Assessments, Fragen zur Anerkennung von Leistungen,diemangelndeNutzungmöglicherKooperationspotenzialeaufderGrundlagevon Hochschulstrategien sowie Fragen zu infrastrukturellen Grundbedürfnissen vonelektronischen Assessments sind.

Der Leitfaden orientiert sich an den benannten Problemen und Hemmnissen und bietetden verschiedenen Zielgruppen des Projekts sowie den Akteuren bei der Umsetzung von E-AssessmentsdieMöglichkeit,mittelsindividuellerLeserführungspezifischeHilfestellungenzur Vorbereitung und Begleitung des Lernens zu erhalten. Dabei werden nicht nur die Perspektiven und Problemstellungen differenziert behandelt, sondern auch einÜberblicküberdiePhasenderImplementierungvonE-AssessmentsunddesLernprozessesimLaufeeines Semesters geboten. Das Vorhaben bezieht sich hierbei zwar konkret auf das Land Nordrhein-Westfalen,die ErgebnisseundAnsätze sind jedoch–mitwenigenAusnahmenwie den konkreten rechtlichen Anforderungen an ein E-Assessment – auch über die Landesgrenzen hinaus anwendbar.

Da sowohl die unterschiedlichen Zielgruppen und Akteure angesprochen werden als auch die grundlegenden Voraussetzungen im Vorfeld der Einführung von E-Assessments, die PhasendesLernensmitdendamitverbundenenAssessmentformen–diagnostisch,formativ,summativ–sowiediesemesterübergreifendeBegleitungderImplementierungaufgegriffenwerden, handelt es sich beim NRW-Leitfaden um eine komplexe und umfangreicheBetrachtung des Thema E-Assessment.

Marcel Graf-Schlattmann, Lara Melissa Fortmann, Prof. Dr. Dorothee Meister, Prof. Dr. Gudrun Oevel1

1Projekt E-Assessment NRW, Universität Paderborn, DeutschlandE-Mail: marcel.graf.schlattmann@upb.de, melissa.fortmann@upb.de, dm@upb.de, gudrun.oevel@upb.de

NRW-Leitfaden zur systematischen Unterstützung. Nachhaltige, semester-übergreifende Begleitung bei der Implementierung von E-Assessments.

Sess

ion

3

33

Aus diesem Grunde legen wir das Augenmerk unseres Vortrags auf einen Teilaspektdes Leitfadens: die semesterübergreifende Begleitung bei der Implementierung vonE-Assessments. Dieser Aspekt befasst sich mit den Anforderungen an eine nachhaltigeImplementierung von E-Assessments und umfasst die Themen von Qualitätssicherung,Beratung sowie der Weiterbildung und Vernetzung. Dabei wird nicht nur ein inhaltlicher Einblick in das Themengebiet geliefert, sondern auch exemplarisch der Einsatz und Nutzen deserstelltenLeitfadensdiskutiert.

Keywords:

E-Assessment,nachhaltigeImplementierung,WeiterbildungundVernetzung,Leitfaden

Weiterführende Informationen zum Projekt E-Assessment NRW:

[1] http://www.eassessmentnrw.de/home.html, zuletzt aufgerufen 19.07.2017

[2] Forgó, Nikolaus; Graupe, Simon; Pfeiffenbring, Julia (2016). Rechtliche Aspekte von E-Assessments an Hochschulen. http://duepublico.uni-duisburg-essen.de/servlets/DerivateServlet/Derivate-42793/Gutachten_E-Assessment_NRW.pdf, zuletzt aufgerufen am 19.07.2017

Sess

ion

3

34

E-Prüfungen sind kein Novum mehr in der deutschen Hochschullandschaft. An einigenHochschulen sind sie bereits seit fünf oder zehn Jahren standardmäßig im Einsatz. Trotzdem kann nicht die Rede davon sein, dass E-Prüfungen sich bereits an der Masse der deutschen Hochschulen etabliert haben.

WährendinderPionierzeitderE-PrüfungenoftnochderWilleeinzelnerLehrenderodereinerIT-Einrichtungausreichte,ummiteinigenRechnernundSoftwarePrüfungendurchzuführen,sind aufgrund der erfolgreichen Beispiele an mehreren Hochschulen mittlerweile dieErwartungen an E-Prüfungen, sowohl was die Aufgabenformate, die Prüfungsräume, als auch dieRechtssicherheitangeht,gestiegenundsomitdienotwendigenRahmenbedingungenzuihrer Durchführung komplexer geworden.

Die Etablierung von hochschulweiten E-Prüfungen ist zu einem vielschichtigen Prozessgeworden,dervonunterschiedlichenStelleninnerhalbderHochschuleinitiiertwerdenkannund zu dessen erfolgreicher Durchführung eine Vielzahl von Akteuren an der Hochschule zusammenarbeiten müssen.

Gleichwohl existiert in den unterschiedlichen Publikationen zu E-Prüfungen bisher keinVorgehensmodell, das den Einführungsprozess anhand der zu durchlaufenden Teilprozesse und der darin involvierten Akteursgruppen strukturiert. In Ansätzen findet sich dies beiSchmees,Horn(2014) [1]. BasierendaufdenErfahrungen imProjektE-AssessmentNRWund bei der Einführung von E-Prüfungen an der Bergischen Universität Wuppertal wird nachfolgend ein solches Modell vorgestellt. Erste Überlegungen zu dem Vorgehensmodell wurden bereits als Poster auf dem ePS 2015 präsentiert und seitdem ausgearbeitet [2].DasModell bietetderProjektleitungeineOrientierungdarüber,wanndieKooperationenwelcher Akteure am besten angestoßen werden, wann welche Prozesse beginnen sollten undwelcheProzesse aufeinander aufbauen.DasVorgehensmodell ermöglicht somit einemöglichsteffizienteEinführungundEtablierungvonE-PrüfungenunterEinbeziehungallerAkteurs-/InteressengruppenderHochschule.

HierbeidientderStakeholderansatzvonR.EdwardFreemanalstheoretischeGrundlage[3].Diese Methode wird im Bereich der Umfeldanalyse im Projektmanagement eingesetzt und wirdhieraufdieEinführungvonE-Prüfungenangewandt.ZielistesdabeimittelsderAnalysealler in einem Projekt relevanten Prozesse, sowohl diese als auch die daran beteiligten Interessensgruppen (Stakeholder) zu identifizieren und rechtzeitig aktiv zu involvieren.Essentiell istdabei,dassalleAkteurevonderProjektleitungdieMöglichkeiterhalten,sich

Alain Michel Keller1, Silke Kirberg2

1 ZIM, Bergische Universität Wuppertal / E-Assessment NRW, Deutschland2 Referentin für eLearning, Hochschule Niederrhein / E-Assessment NRW, Deutschland E-Mail: akeller@uni-wuppertal.de, Silke.Kirberg@hs-niederrhein.de

Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen

Sess

ion

3

35

mit ihren Ideen und Bedenken in das Projekt einzubringen. Durch dieses partizipativeVorgehen können Widerstände abgebaut und eine breite Basis für das Projekt innerhalb der Hochschulegeschaffenwerden[4].

Insgesamt konnten für die Einführung von E-Prüfungen, von der initialen Diskussion desThemasdurchLehrendeund/oderGremienbishinzurDurchführungimRegelbetrieb,17Prozesse, die in einigen Fällen noch weitere Teilprozesse enthalten, identifiziert werden.Dadurch konnten die Stakeholder in den unterschiedlichen Bereichen der Hochschulen (Rektorat, Verwaltung, Zentrale Einrichtungen, Fakultäten, Lehrstühle) bestimmt und diegeeigneten Zeitpunkte und das Ausmaß Ihrer Einbindung in das Projekt erfasst werden. Die konkreten Prozesse und Stakeholder an einzelnen Hochschulen wurden dabei soweit abstrahiert, dass sich diese möglichst leicht auf die Strukturen an anderen Hochschulen übertragen lassen.Der Vortrag auf dem ePS 2017 soll dazu dienen, das Vorgehensmodell einem Fachpublikum vorzustellen, um in der Diskussion weitere Anregungen zu einzelnen Prozessen und deren Strukturierung zu gewinnen. Ende 2018 soll das Vorgehensmodell dann über www.eassessmentnrw.de interessierten Hochschulen zur Verfügung gestellt werden.

Keywords:

E-Prüfungen, E-Assessment, Stakeholder, Prozesse, Prozessmodell, Change Management

Quellen:

[1] Schmees M., Horn J. (2014). E-Assessments an Hochschulen: Ein Überblick. S.141-154, Münster, New York: Waxmann.

[2] Keller A. M. (2015). Der Weg in die Hochschule – Prozesse zur Etablierung hochschulweiter E-Prüfungen. In: Abstractband e-Prüfungs-Symposium ePS 18.-19. November 2015 // Paderborn. S.84/85.

[3] Freeman R. E. (1984). Strategic Management: a Stakeholder Approach. Boston: Pitman.

[4] Melbinger W. (2014). Stakeholder-Management für IT-Projekte. In: E. Tiemeyer (Hrsg.), Handbuch IT-Projektmanagement. S. 609-624, 2. Aufl. München: Hanser.

Sess

ion

3

36

Der aktuelle hochschuldidaktische Perspektivwechsel eines shift from teaching tolearning erfordert in der Hochschullehre einen veränderten Blick auf die Organisationvon studentischen Lernprozessen auf diversen Ebenen. Das Fachgutachten zurKompetenzorientierunginStudiumundLehrefürdieHRKhathinsichtlicheinerkonsequentenUmsetzung von Kompetenzorientierung auf Defizite der Hochschullehre im Hinblick aufdie kohärente Planung und Durchführung von Lehrveranstaltungen und Assessments hingewiesen[1].DabeistellendieVernetzungvonLern-undPrüfungsinfrastrukturenunddiehochschuldidaktischeFundierungtechnischerUnterstützungssystemewesentlicheAspekteder Qualitätssicherung von Studium und Lehre dar. Mit Blick auf die zunehmende Verbreitung vonE-AssessmentsandeutschenHochschulenimformativenundsummativenBereichistesnotwendig,dassLehrendedasprüfungsdidaktischePotenzialvonE-Assessmentserschließen,um Lernprozesse und Leistungsüberprüfung kompetenzorientiert gestalten zu können(ConstructiveAlignment).EinAustauschvonAufgaben(Items)zurqualitativenBegutachtung(Review) oder hochschulübergreifenden Verwendung in Prüfungen aufgrund verschiedener Learning-Management- und Prüfungssysteme gestaltet sich gegenwärtig schwierig.Gleichzeitig ist aber der hochschulübergreifende Wissens- und Erfahrungsaustausch vonLehrenden entscheidend für die Entwicklung und Verbreitung von (E-)Assessment-Literacy, um die Bedeutung und kompetenzorientierte Gestaltung von Prüfungen in Lehr-Lern-Arrangements hervorzuheben sowiedieQualität vonHochschulprüfungen zu sichern [2].Darüber hinaus ist eine wesentliche Grundlage für eigenverantwortliche LernprozesseundkompetenzorientiertePrüfungendieFormulierungvonLearningOutcomesundderenTransparenzgegenüberStudierenden(ConstructiveAlignment).

Vor diesem Hintergrund möchten wir in einem Vortrag das E-Assessment-Literacy-Tool EAs.LiT vorstellen[3].EsverbindetdenhochschuldidaktischenAnspruchdesConstructiveAlignmentmit der Usability eines modernen Content-Management-Systems (CMS). Dieses web-basierte System zur kollaborativen, qualitätsgesicherten Erstellung von Items für E-Assessmentswurde im Rahmen eines vom Sächsischen Staatsministerium fürWissenschaft und Kunst(SMWK) geförderten Verbundprojektes entwickelt. EAs.LiT unterstützt entsprechend dem Constructive Alignment bei der Formulierung von Learning Outcomes, der daraufbasierenden Erstellung und Begutachtung von Items sowie der kriterienbasierten semi-automatischen Zusammenstellung gleichwertiger E-Prüfungen (Abb. 1). Dazuwurden diebisher aus Learning-Management-Systemen bekannten Elemente zur Item-Erstellung um die DefinitionvonLearningOutcomesundAnforderungsstufensowiethematischeEinordnungerweitert. Zusätzlich ermöglicht ein Begutachtungsprozess die Erstellung strukturierter Reviews zur Sicherung der Item-Qualität hinsichtlich fachlicher Richtigkeit, Relevanz undFormulierung.DesWeiterenunterstütztEAs.LiTdiesemi-automatischeErstellungvonItem-

Heinz-Werner Wollersheim1, Norbert Pengel1 Andreas Thor2

1Professur für Allgemeine Pädagogik, Universität Leipzig, Deutschland2Professur für Datenbanksysteme, Hochschule für Telekommunikation Leipzig, Deutschland E-Mail: wollersheim@uni-leipzig.de, norbert.pengel@uni-leipzig.de, thor@hft-leipzig.de

Die Gestaltung von E-Prüfungen mit dem E-Assessment-Literacy-Tool EAs.LiT

Sess

ion

3

37

PoolsfürPrüfungendurcheineinteraktive,mehrdimensionaleDatenexplorationinnerhalbdes Item-Bestandes sowie mittels eines Strukturplans für eine Prüfung (Blueprint).EAs.LiTistalsPluginfürdasCMSWordpressimplementiert.DiewesentlichenDatenobjekte(Learning Outcomes, Items, Reviews) werden als spezielle Wordpress-Content-Types in der von Wordpress verwalteten Datenbank abgelegt, welche somit auf standardisierte Wordpress-Funktionalitäten (Versionierung, Status- und Rechteverwaltung, thematischeKategorisierung) zurückgreifen können. Gleichzeitig ermöglicht die Verwendung vonWordpress-UI-Elementen eine adaptive, konsistente und moderne Benutzeroberfläche.Spezielle Sichten (u.a. Item Explorer), Algorithmen (u.a. Blueprint-basierte Item-Pool-Erstellung) sowie Import/Export-Funktionen zu Lern-Management-Systemen (derzeit QTI/Ilias5)rundendieImplementationab.

Abb. 1: Schematische Darstellung des E-Assessment-Workflows mit EAs.LiT

Keywords:

ConstructiveAlignment,E-Assessment,Qualitätssicherung,

Quellen:

[1] Schaper, N. (2012). Fachgutachten zur Kompetenzorientierung in Studium und Lehre. Hochschulrektorenkonferenz Projekt nexus. URL: http://www.hrk-nexus.de/fileadmin/redaktion/hrk-nexus/07-Downloads/07-02-Publikationen/fachgutachten_kompetenzorientierung.pdf [15.06.2017].

[2] Wollersheim, H.-W.; Pengel, N.: Von der Kunst des Prüfens – Assessment Literacy. HDS.Journal – Perspektiven guter Lehre 2016/2; S.14-32, http://nbn-resolving.de/urn:nbn:de:bsz:15- qucosa-212985 [15.06.2017].

[3] Weitere Informationen unter http://www.easlit.de sowie: Thor, A.; Pengel, N.; Wollersheim, H.-W. (2017). Digitalisierte Hochschuldidaktik: Qualitätssicherung von Prüfungen mit dem E-Assessment-Literacy-Tool EAs.LiT. Proceedings of 15. E-Learning Fachtagung Informatik der Gesellschaft für Informatik (Delfi 2017) (accepted for publication).

Sess

ion

3

38

Der Vortrag widmet sich der Frage, wie E-Assessments rechtssicher durchgeführt werden können. Er stellt Handlungsempfehlungen zum Umgang mit rechtlichen Fragestellungen bei elektronischen Prüfungsformen vor, die derzeit – neben weiteren Themenbereichen – im RahmendesVerbundprojektes„E-AssessmentanHochschuleninNRW“erarbeitetwerden.[1]ZieldesProjektes,dasEnde2017abgeschlossenwerdensoll, istes,solideGrundlagenfürdieVerwendungvonE-AssessmentszuschaffenunddieVernetzungderE-Assessment-Akteure in NRW zu fördern.

Die vorzustellenden Handlungsempfehlungen stützen sich im Wesentlichen auf ein im Rahmen desProjekteserstelltesrechtswissenschaftlichesGutachten,dasdieverfassungsrechtlichenGrundlagenvonE-Assessmentsbehandeltunddaten-undprüfungsrechtlicheFragestellungenanhanddesAblaufseinerelektronischenPrüfungbeantwortet. [2]DasGutachtenbasiertsowohlaufderaktuellenRechtsprechungalsauchaufeinschlägigerrechtswissenschaftlicherForschungsliteratur.

AusgehendvondenErgebnissendesGutachtenswerdenamProjektstandortDuisburg-EssenHandlungsempfehlungenausgearbeitet,diesicheinerseitsamAblaufderImplementierungvonelektronischenPrüfungenorientierenundandererseits zielgruppenspezifischeFragenbeantworten. Zu den ablauforientierten Handlungsempfehlungen gehören zum BeispielEmpfehlungen zur Anpassung von Prüfungsordnungen, zur Gestaltung elektronischerKlausurformen wie etwa des Antwort-Wahl-Verfahrens oder zur Archivierung von Prüfungsergebnissen.DiezielgruppenspezifischenEmpfehlungenrichtensichanLehrendeund Studierende und geben zum Beispiel Lehrenden Hinweise zur Durchführung von Probeklausuren oder Studierenden Ratschläge zu den verschiedenen Aufgabentypen im Antwort-Wahl-Verfahren.

ZudenwichtigstenErgebnissenzähltdieErkenntnis,dassE-Assessmentsdannrechtssicherdurchgeführtwerdenkönnen,wenndiedurchdieVerfassunggewährtenGrundrechtederPrüfungsteilnehmerberücksichtigtunddieAuthentizitätundIntegritätderPrüfungsleistungsichergestelltwerden.DagegebenenfallsdurchStudierendeeingeschalteteGerichteprüfen,ob in einem Prüfungsverfahren Verfahrensfehler unterlaufen sind, müssen alle rechtlich relevanten Punkte in der Prüfungsordnung geregelt sein.

Dr. Nina Hahne

ZIM, Universität Duisburg-Essen, DeutschlandE-Mail: nina.hahne@uni-due.de

Handlungsempfehlungen zu rechtlichen Fragen bei E-Assessments

Sess

ion

3

39

Keywords:

E-Assessment, elektronische Prüfungen, Handlungsempfehlungen, rechtliche Fragen

Quellen:

[1] http://www.eassessmentnrw.de, zuletzt aufgerufen am 19.06.2017

[2] Nikolaus Forgó, Simon Graupe, Julia Pfeiffenbring: Rechtliche Aspekte von E-Assessments an Hochschulen. Gutachten im Auftrag des Verbundprojektes E-Assessment NRW. http://duepublico.uni-duisburg-essen.de/servlets/DocumentServlet?id=42871, zuletzt aufgerufen am 20.06.2017

Sess

ion

3

40

Das zunehmende Interesse an E-Klausuren färbt auch auf die juristischen Studiengängeab. Gerade für das juristische Staatsexamen sind vor allem in NRW seit einigen Jahrenviele Vorarbeiten geleistet worden [1][2]. An Universitäten sind bislang jedoch keinegroßen juristischenFreitextklausurenbekannt,diemittelselektronischerPrüfungssystemedurchgeführt und evaluiert wurden. Solche im juristischen Gutachtenstil [4] verfasstenFreitextklausuren verlangen zum einen Kompetenzen im Verstehen und Anwenden von bekannten Schemata, adressieren jedoch letztendlich höhere Kompetenzniveaus durch die erforderliche Analyse und Beurteilung der Fälle im Hinblick auf unterschiedliche Auslegungen aufderBasisbestimmterGesetze.ImRahmeneinerPilotklausuranderUniversitätSiegenwurdeuntersucht,welchenEffektdieelektronischeDurchführungeinersolchenKlausuraufdie Art und Weise der Aufgabenbearbeitung, Korrektur und Überprüfung der Lernergebnisse hat[3].

BeiderdurchgeführtensummativenE-KlausurhandelteessichumdenNachschreibterminderKlausurPrivatrechtfürWirtschaftswissenschaftlerundLehramtsstudierende.DieKlausurbestandausFreitextaufgaben,derenAufgabenstellungen juristischeFälle imGutachterstilwaren. Die Studierenden konnten frei wählen, ob sie die Klausur in elektronischer Form oder aufPapierschreibenwollten.Vonden290angemeldetenStudierendenhabensich71fürPapier und219 für die elektronischeVariante entschieden. Nach der Klausur haben 41% der Teilnehmenden einen elektronischen Fragebogen ausgefüllt. Außerdem wurden einige Teilnehmende in Kleingruppen interviewt. Im Vorfeld der E-Klausur wurden zum Vergleich dieWörter von 100 zufällig ausgesuchte Klausuren des ersten handschriftlichen Terminsausgezählt.

DieTeilnehmerderE-KlausurhattendasGefühl,mehrZeitgehabtzuhaben.Esgibtaberkeinen signifikaten Unterschied bei der Wörterzahl der Gesamthohorten (12% mehrWörter in der E-Klausur). Allerdings waren die Wörterzahlen der Studierenden mit guten bis sehr guten Noten sehr viel höher als die der Anderen. Es gilt jedoch zu bedenken, dass bei der E-Klausur das Verändern und Löschen von Wörtern durch die „Copy & Paste“-Funktionalität sehrvieleinfacher istalsaufPapier.GeradederoptischeEindruckunddiesinnvolleStrukturierungderKlausurwardenTeilnehmernderE-Klausursehrwichtig.SehrwichtigwardenTeilnehmernauchdieAngabe,dasssiebessertippenalsperHandschreibenkönnen und damit auch ihr Wissen vollständig anbringen konnten. Dies ist im Hinblick auf höhere Lernzielniveaus erforderlich. Als verbesserungswürdig wurde die Oberfläche derPrüfungssoftwaregenannt,diesichidealerweisenochmehrandieOberflächevongängigenTextverabreitungsprogrammen anpassen sollte. Auch eine Rechtschreibkorrektur wurde

Andreas Hoffmann1, Marc Sauer2

1Lehrstuhl Betriebssysteme und verteilte Systeme, Universität Siegen, Deutschland2Supportstelle für elektronische Klausuren, Universität Siegen, Deutschland E-Mail: andreas.hoffmann@uni-siegen.de, marc.sauer@uni-siegen.de

Juristische Volltext-E-Klausuren

Sess

ion

4

41

gewünscht. Grundsätzlich wünschten sich die Teilnehmer weitere Freitextklausuren imjuristischenUmfeld(98,8%).

Die Korrektur der Klausuren erfolgte ebenfalls elektronisch. Die Korrektoren beurteilten dieAuswertungderelektronischenKlausurenalssehrpositiv.DurchdiebessereLesbarkeitkönnten InhalteganzerAbschnittebesser aufeinenBlickerfasstwerden,da keineArbeitauf das Entziffern der einzelnen Worte fällt, was den Blick auf das Gesamte lindert.Interessanterweise wirkten gerade die schlechteren Klausuren trotz EDV unordentlich. Die Korrektorenmerktenan,dassdasErstellenderKommentareamRandmehrZeitbenötigtals auf Papier, aber dass man die Anmerkungen detailierter verfasst. Das wiederum ergibt einbesseresFeedbackfürdieStudierenden,wodurcheingrößererLernforschrittdurchdieKlausureinsicht- und Nachbereitung möglich ist. Auch die Markierung inkl. Kommentare ganzer Textbausteine macht die Korrektur nachvollziehbarer und der Bezug zu Fehlern wird deutlich besser erkennbar. Nachlässige Ausdrucksweisen, Tippfehler, Rechtschreibfehler, schwachesAusdrucksvermögen,FehlerimSatzbauoderGrammatikschwächentretendemKorrektor unmittelbarer entgegen als bei Papierklausuren, bei denen mehr Zeit auf dasEntziffernentfällt.

DurchdieelektronischeDurchführungzeichnensichneueTechnikenderGutachtenerstellungab,indemPassagenzunächstgrobvorformuliertundimWeiterenfürdiespezifischenFälle„ausgefüllt“odervielmehrausformuliertwerden.DenStudierendenistesalsomöglich,dentatsächlichenWissensstandzupräsentieren,dasiesichnichtmitoptischenBedenkenplagenmüssen. Im Weiteren könnte der gezeigte Effekt für weitere Fachklausuren untersuchtwerden, welche im Stil der großen Freitextklausur gestellt werden. Auch stellt sich dieFrage, ob die Nutzung der neuen Techniken geänderte Erwartungen bei Volltext-E-Klausuren seitens der Prüfer erzeugen.

Keywords:

E-Assessment,Volltext-Prüfungen,JuristischeKlausuren,JuristischeFallgutachten

Quellen:

[1] F. Kollmann, A. Hoffmann: Entwicklung und Evaluation eines Prüfungssystems zur Durchführung elektronischer Volltextklausuren im juristischen Staatsexamen In: H. Pongratz, R. Keil (Hg.) 2015 – DeLFI 2015 - Die 13. e-Learning Fachtagung Informatik der Gesellschaft für Informatik e.V. (GI), München, 1.-4. September 2015, GI-Verlag, S. 157–168

[2] Interview Neue Juristische Wochenschrift (NJW) mit J. v.d. Esche und A. Hoffmann: Die juristische E-Prüfung. S. 12 f., Ausgabe 39/2016. Verlag C.H.Beck oHG, München.

[3] M. Becker, C. Weidt: Erfahrungen mit der elektronischen Juraklausur in großen Gruppen, i.E., ZRP 2017

[4] T. Hildebrand (2016): Juristischer Gutachtenstil: Ein Lehr- und Arbeitsbuch, UTB

Sess

ion

4

42

VieleAnfängerhabenSchwierigkeitenbeimEinstiegindieProgrammierungundbenötigeneine geeignete Lernumgebung aber auch ein didaktisches Szenario,wo siemotiviert undselbständigProgrammierenlernenkönnen.DieheutigeGeneration,diesogenannten„digitalnatives“[1],istmitdigitalenMedienaufgewachsen.DerDigitalGame-BasedLearningAnsatzspricht,lautMarkPrensky[2],dieheutigenStudierendenmiteinemihnenbekanntenundgerngenutztenMediumanunderzeugtsomitintrinsischeMotivation.

AnderRWTHAachenentstand2016einSeriousGameCodescape,umdenEinstiegindieProgrammierspracheJavafürAnfängerzuerleichtern.DabeivermitteltdasSpielselbstkeineInhalte, wird vorlesungsbegleitend eingesetzt und soll inhaltlich und zeitlich eng mit der Vorlesungverzahntwerden.DasLernspielistbrowserbasiertundsomitplattformunabhängig.Die Programme der Studierenden werden auf dem Server kompiliert, getestet und bewertet. Die automatischeBewertung entlastet die Lehrendebei der Korrektur derHausaufgabenundermöglichtdenStudierenden,einesofortigeRückmeldungfürihreAbgabenzukriegen.

Abb. 1: Ein Codescape Raum: A) die Spielkarte, B) Code-Editor, C) Compiler/Fehler Konsole

Paul Gamper1, Wolfram Barodte1

1Medien für die Lehre, RWTH Aachen, Deutschland E-Mail: gamper@medien.rwth-aachen.de, barodte@medien.rwth-aachen.de

Programmieren lernen mit Serious Games - ein Erfahrungsbericht.

Sess

ion

4

43

Als Spielerin oder Spieler erkundet man ein außer Kontrolle geratenes Raumschiff. DasRaumschiffistinDecksunterteilt,welchewiederumRäumeundMinispielebeinhalten.MitHilfe von Decks, die mit der Zeit freigeschaltet werden, erfolgt eine zeitliche und inhaltliche GruppierungdesLernstoffes. RäumedesRaumschiffs(Abb.1)stellendieAufgabenvisuelldar und sind das zentrale Element im Spiel. Durch das Lösen der Herausforderungen in den Räumen werden die Inhalte aus der Vorlesung eingeübt. Durch Minispiele und Dialoge können zusätzliche Aufgaben abgebildet und Faktenwissen gezielt abgefragt werden.

Das Spielwurde seitWintersemester 2016/2017 in drei Einführungs-Veranstaltungenmitinsgesamt 2800 Studierenden eingesetzt, die Insgesamt fast 417.000 Programme (mit Zwischenständen) abgegeben haben. Das Spiel wurde während der ersten Erprobung gut angenommenundstießbeidenStudierendenundauchDozierendenaufpositiveKritik.Über70% der befragten Spieler empfanden Codescape als gelungen und 50% gaben an, das Spiel auch in ihrer Freizeit spielen zu wollen. Um die 70% der Befragten gaben an, dass das Spiel ihnengeholfenhat,denVorlesungsstoffbesserzuverstehen.

FüreinebessereIntegrationindieVorlesungensindbereitsErweiterungenfürdieKonzepteRekursion,VerifizierungundobjektorientierteProgrammierunggeplant.MitneuenInhaltenwerden auch die Anreizsysteme, Ziele und Erfolgsbewertung im Spiel angepasst.

Keywords:

EinführunginJava,Game-BasedLearning,Lernspiel

Quellen:

[1] Digital game-based learning. Compuers in Entertainment, 1(1), 21-21, 2003

[2] Digital natives, digital immigrants part 1. On the horizon, 9(5):1–6, 2001

Sess

ion

4

44

Elektronische Prüfungen sind mittlerweile ein fester Bestandteil der Prüfungskultur derRWTHAachen[1].FürdiegrundlegendenHerausforderungen,diebeiderEtablierungdieserPrüfungsformauftreten,wurdenbereitsverschiedeneLösungenerörtert [2,3]. Inzwischenbegegnen uns neue Herausforderungen wie z.B. Kapazitätsprobleme bei ePrüfungen für Veranstaltungen mit großen Teilnehmerzahlen.

Seit nunmehr einem Jahr werden Veranstaltungen mit hohen Teilnehmerzahlen mit Hilfe von ePrüfungen erfolgreich in den Fächern Mechanik 1, 2 und 3 im BSc-Studiengang Maschinenbau angeboten. Die große Anzahl der abzunehmenden Prüfungen (ca. 5000 pro Jahr)stehthierbeiderAnzahldergleichzeitigverfügbarenRechnerplätze(ca.310)gegenüber.AusdiesemGrundschreibendieStudierendendieKlausurenderzeitüber2Tageverteiltin2-8 Kohorten pro Veranstaltung.

DienaheliegendeLösungfürdieKapazitätsengpässe,dieSchaffungvonmehrRechnerplätzen(vgl.RechnerkapazitätenderTUDelft,NLmitca.1000Plätzen),istnichtalleinezielführend.ZumeinenkostendieAnschaffungundderBetriebderInfrastrukturvielZeitundGeld,sodass Erweiterungen der Kapazitäten eher in Dekaden als in Jahren gerechnet werden. Zum anderen führt eine massive Erweiterung der Kapazitäten zu einem großen Überangebot außerhalb der Prüfungszeit. Angeschaffte Technik wird entweder kaum genutzt oderwird in der Prüfungszeit überbucht. Aus diesen Gründen muss die Schaffung von mehrRechnerplätzendurcheinflexibles,schnellesundkostengünstigesKonzeptergänztwerden.

On-Demand-Prüfungen lösen das Kapazitäts- und Auslastungsproblem auf eine elegante, kostengünstigeWeise.StattdieStudierendenfestinKohorteneinzuteilenundnacheinanderzu prüfen, können sich die Studierenden ihren Prüfungstermin selber auswählen. Dabei können sie den Prüfungstermin individuell nach ihrem Lernstand, persönlichen Rahmenbedingungen und Vorlieben auswählen. Diese Flexibilität in der Lern- und Prüfungsplanung ist ein direkter Mehrwert für die Studierenden. Durch eine Durchmischung der Semester und Veranstaltungen werden zudem Täuschungsversuche deutlich erschwert. Zum Beispiel kann ein Studierender der Mechanik 1 im Maschinenbau schlecht von einem StudierendenderMechanik3abschreiben.AusdenobengenanntenGründenergänzenOn-DemandePrüfungendenAnsatz,mehrRechnerplätzezuschaffen,erhöhendieFlexibilitätder Prüfungsplanung für Studierende und erlauben zudem einen Paradigmenwechsel im akademischen Prüfen in Massenveranstaltungen.

Bernd Markert1, Mazdak Karami2

1Insitut für Allgemeine Mechanik, RWTH Aachen University, Deutschland2Medien für die Lehre, RWTH Aachen University, Deutschland E-Mail: markert@iam.rwth-aachen.de, karami@medien.rwth-aachen.de

ePrüfung On-Demand – Individuell Lernen, individuell Prüfen

Sess

ion

4

45

Jedoch fordert diese Form der Prüfungsorganisation auch eine hohe Flexibilitätder Prüfungsverantwortlichen, eine zusätzliche Anmeldefunktion mit einemOptimierungsalgorithmusundeinensehrgroßenAufgabenpool.

ImWintersemester2017/2018werdendieePrüfungenOn-DemandineinemPilotprojektinder Mechanik 1, 2 und 3 durchgeführt. Dabei können die Studierenden in der Anmeldephase Termine priorisieren und bekommen anschließend über ein Losverfahren einen Termin zugewiesen, fallsdieRaumkapazitätüberschrittenwird.EinZieldesPilotprojekts isteszuerfassen, welche Termine stark priorisiert werden undwieman die Prozesse optimierenkann.

Keywords:

E-Assessment, ePrüfungen On-Demand, Individuelles Prüfen

Quellen:

[1] Karami M., Baumann M.: Pädagogische Hochschulentwicklung: von der Programmatik zur Implementierung. Zum Glück gezwungen? Wie die Einführung eines hochschulweiten Angebots elektronischer Prüfungen gelingen kann. In: Brahm T, Jenert T & Euler D (Hrsg.). Pädagogische Hochschulentwicklung. Springer VS Verlag (2016) (ISBN 978-3-658-12067-2)

[2] Karami M., Heussen N., Schmitz-Rode T., Baumann M. Advantages and Disadvantages of Electronic Assessments in Biomedical Education. World Congress on Medical Physics and Biomedical Engineering, September 7 – 12. (2009) 25(12):61-4. (DOI: 10.1007/978-3-642-03893-8_18)

[3] Otto A., Karami M., Baumann M., Groß D. Verbesserungspotenziale elektronischer Prüfungen am Beispiel von medizinischen Tests. In: Die Rektorin der Ernst-Moritz-Arndt-Universität Greifswald (Hrsg.) Greifswalder Beiträge zur Hochschullehre, Greifswald: 73-88. (2015) (ISBN: 978-3-86006-429-0)

Sess

ion

4

46

Systeme für die automatische Bewertung von Programmieraufgaben sind seit langembekanntundweitverbreitet.SieermöglichendieerfolgreicheDurchführungvonformativenodersummativenPrüfungenauchfürgroßeGruppenvonLernenden.DerAufwandfürdieErstellung von didaktisch sinnvollen Programmieraufgabenmit umfangreichem Feedbackist jedoch sehr hoch. Dieses Problem wird verschärft, wenn Aufgaben in mehrerenähnlichenVariantenbenötigtwerden,umeinePrüfunginmehrerenGruppennacheinanderdurchführen zu können.

Andere Teilgebiete der Informatik und andere Fächerwie beispielsweise dieMathematiknutzen in diesem Fall variable Aufgabenstellungen, in denen Teile des Inhalts für jeden Prüfungsteilnehmer individuell nach vom Autor festgelegten Vorgaben zufällig generiert werden. Dieses Prinzip auf Programmieraufgaben zu übertragen, führt jedoch zu einer großen Zahl an herausfordernden Fragestellungen:

• Welche Teile der Aufgabenstellung einer Programmieraufgabe können überhaupt (prüfungs-)didaktischsinnvollvariiertwerden?

• KannsinnvolleVariationsogestaltetwerden,dassPrüfregelnundFeedbackgleichbleiben können, oder müssen diese mit variiert werden?

• WiekanndieGleichwertigkeitoderSchwierigkeitvonAufgabenvariantenbeurteiltwerden?

• Welche Komplexität von Variation ist für Autoren noch überschaubar, um dieKonsistenz des Feedbacks gewährleisten zu können?

Diese und weitere Fragestellungen können in diesem Workshop diskutiert werden. DerWorkshop richtet sich sowohl an Lehrende in der Programmierausbildung und verwandten Fächern, als auch an die Entwickler von Systemen für die automatische Bewertung vonProgrammieraufgaben.ZieldesWorkshopsistes,imRahmeneinesoffenenAustauschsden(prüfungs-)didaktischen Bedarf festzustellen sowie Erfahrungenmit ersten Versuchen zurVariabilität von Programmieraufgaben auszutauschen.

Keywords:

E-Assessment, Programmieraufgaben, Variabilität

Michael Striewe, Benjamin Otto

Universität Duisburg-Essen, DeutschlandE-Mail: michael.striewe@paluno.uni-due.de, benjamin.otto@paluno.uni-due.de

Variabilität in Programmieraufgaben

Wor

ksho

p 1

47

LehrendeindenGeisteswissenschaftenundverwandtenFächernstehenbeimEinsatzvonE-Assessment-TechnologienhäufigvordemProblem,dassaktuellverfügbareAufgabentypenundSystemedidaktischanspruchsvolle,offeneunddiskursorientierteAufgabenstellungennicht angemessen abbilden und mit (teil-)automatisiertem Feedback versehen können.Während sich gut zu operationalisierende Aufgabenstellungen sowie Faktenwissen nochleichtmitMultiple-Choice-FragenoderanderengeschlossenenAufgabenformatenabbildenlassen, erfordert die kritische Auseinandersetzung mit Theorien oder die konstruktiveDarlegung eines Gedankenganges nahezu zwingend den Einsatz von FreitextaufgabenodervergleichbarenoffenenFrageformaten.DieautomatischeAuswertungvonFreitextenbeschränktsichnachdemderzeitigenStandderForschungjedochzueinemgroßenTeilaufdiesyntaktischeStrukturundKorrektheitderTexteundzeigterheblicheSchwächenbeidersemantischenAnalyse.

Der Workshop richtet sich daher sowohl an Entwickler von E-Assessment-Systemen, die in diesem Bereich für Verbesserungen sorgen möchte, als auch an Lehrende aller fachlichen Disziplinen,diekreativeLösungenfürdenUmgangmitdemderzeitigenDefizitsuchenodergefunden haben. Der Workshop soll insbesondere eine Plattform bieten, um Wünsche,ErfahrungenundLösungenmiteinanderauszutauschenundzudiskutieren.

Keywords:

E-Assessment,Aufgabentypen,MultipleChoice,Freitext,Geisteswissenschaften

Michael Striewe

Universität Duisburg-Essen, DeutschlandE-Mail: michael.striewe@paluno.uni-due.de

Zwischen Multiple Choice und Freitext – E-Prüfungen in den Geisteswissenschaften

Wor

ksho

p 2

48

Für dieGestaltung vonAufgaben in E-Assessments empfiehlt beispielsweiseWollersheim(2015) durch Peer-Review und andere Maßnahmen die Qualität der Prüfung bereits in der Vorbereitungsphasezusichern[1].Außerdemwird imZusammenhangmitE-Assessmentsdaraufhingewiesen,dassdiegeschlossenenAufgabendieMöglichkeitbieten,siestatistischauszuwerten.DieserVorteilwirdinVorträgen[2][3],diefürdieEtablierungelektronischerPrüfungenargumentieren,genannt.DieAuswertungundInterpretationderTeststatistikensollindenProzessderQualitätssicherungeinfließen[1][4][5].

Nach der Auswertung von Tests und Klausuren richtet sich der Blick auf die Ergebnisse derStudierenden.UmdiegestelltenFragenundAufgaben jedochzureflektierenundggf.zu überarbeiten, eignet sich die Interpretation von statistischen Auswertungen. DieseTeststatistikengebenKennwertean,dieHinweisedaraufgeben,obdieBeantwortungderTest- oder Klausuraufgaben die von den Studierenden individuell erreichten Lernergebnisse überhaupt im erforderlichen und gewünschten Maß abbilden.

Vielen Lehrenden ist allerdings unbekannt, ob – und wenn ja welche – statistischeInformationensieaufeinfacheArtundWeiseausdenvonIhnenverwendetenE-Learning-Tools für diese Art der Qualitätssicherung nutzen können.

IneinerHandreichungdesProjekts„E-AssessmentNRW“werdendaherdie„aufKnopfdruck“vorhandenen Auswertungen der an Hochschulen verbreiteten Lernplattformen MOODLEundILIASdargestellt,sowieerläutert,wiediePrüfungsergebnissepercsv/Excel-ExportfürStatistikprogrammegenutzt undmit SPSS, Excel o.ä. von Lehrendenausgewertetwerdenkönnen.

Die Interpretation der Informationen erfordert ein gewisses Grundlagenwissen, da dieStatistikenvondenLearningManagementSystemenunkommentiertdargestelltwerden.

Für interessierte Lehrende soll mit der Handreichung daher eine Quelle entstehen, die Informationen und Interpretationshilfen zur Testauswertung für E-Prüfungssoftwarebündelt und darüber hinaus Interesse daran weckt, Learning Management Systeme mit ihren vielfältigenMöglichkeiten verstärkt in diagnostischen, formativen und summativenAssessments einzusetzen.

Silke Kirberg1, Yvonne Fischer2 1 Referentin für eLearning, Hochschule Niederrhein / E-Assessment NRW, Deutschland2 wissenschaftliche Mitarbeiterin, Hochschule Ostwestfalen-Lippe / E-Assessment NRW, DeutschlandE-Mail: Silke.Kirberg@hs-niederrhein.de, Yvonne.fischer@hs-owl.de

Qualitätssicherung von Testfragen – Teststatistiken auswerten, Fragen und Aufgaben verbessern

Know

ledg

e Ca

fé 1

49

Der Beitrag im Knowledge-Café auf dem ePS 2017 dient dazu, die vorhandenen Informationsressourcen für statistische Kennwerte in den Tools für E-Assessmentdem Fachpublikum vorzustellen. Die prüfungsdidaktische Herausforderung,einen Pool an guten Fragen und Aufgaben ständig weiter zu entwickeln, kann durch die Nutzung von vorhandenen Daten und Statistiktools erleichtert werden.Die Diskussion mit den Teilnehmenden kann wertvolle Anregungen für die Interpretationshilfe geben. Ende 2017 soll die finalisierte Handreichung dann überwww.eassessmentnrw.de interessierten Hochschulen zur Verfügung gestellt werden.

Keywords:

E-Prüfungen,E-Assessment,Qualität,Statistik,E-Prüfungs-Didaktik

Quellen:

[1] Wollersheim, H.-W. (2015): Qualitätssicherung elektronischer Prüfungen mit geschlossenen Aufgabenformaten, Präsentation im Rahmen der GML2-Konferenz 2015. http://www.gml-2015.de/PPP/Fr_11_00_Wollersheim_vb.pdf [22.11.2016]

[2] Daniel, M. (2014): Mathematik-Kompetenzen online prüfen – geht das? Vortrag an der DHBW Karlsruhe. https://www.dhbw-karlsruhe.de/fileadmin/user_upload/dokumente/T-Informatik/25jahre-oktober-2014-daniel_e-klausuren.pdf [16.03.2017]

[3 ] Huth, D., Spehr, St., Keller, A. M. (2016): „E-Prüfungen / E-Assessment / Baumaßnahmen“ an der Bergischen Universität Wuppertal. Vortrag anlässlich der ZKI-Herbsttagung und 17. DINI-Jahrestagung vom 12. bis zum 15. September 2016. https://www.uni-ulm.de/fileadmin/website_uni_ulm/zkiherbst2016/praesentationen/dienstag/huth_Vortrag_ZKI_HT_2016_E-Pruefungen__E-Assessment_Baumassnahmen_13.09.2016_final.pdf [16.03.2017]

[4] Bücking, J., Schwedes, K. (2010): E-Assessment im Testcenter der Universität Bremen. In: Ruedel, C., Mandel, Sch. (Hg.): E-Assessment. Einsatzszenarien und Erfahrungen an Hochschulen. Medien in der Wissenschaft Bd. 56. Münster: Waxmann, S. 47-62.

Know

ledg

e Ca

fé 1

50

Die TH Wildau, die größte Fachhochschule Brandenburgs, hat im Sommer 2012 im Rahmen des BMBF geförderten Projekts SOS – Strukturierung und Optimierung des Selbststudiums begonnen, E-Assessments durchzuführen. Seitdem zeigte sich in mehr als 13500 Teilnahmen andiagnostischen,formativenundsummativenE-AssessmentsdiezunehmendeAkzeptanzfür Online-Tests. Ausgehend vom vermehrten Einsatz und den im Projekt entwickelten Qualitätsstandards zur Erstellung elektronischer Fragen wird der Fokus nun verstärkt auf testdidaktischeQualitätgelegt.

Elektronische Prüfungen werden von den Lehrenden erstellt, die in unterschiedlicher Weise mit der E-Assessment-Software und der Gestaltung elektronischer Fragen vertraut sind.Die E-Prüfungen entsprechen daher nicht immer testdidaktischen Qualitätskriterien (z.B.Kompetenzorientierung).HäufiggehenLehrendevonihrenbisherigenFrageninPapierformaus;diese lassen sich jedochnicht immer1:1 inelektronischeFragenübertragen [1].BeiderUmstellungaufelektronischePrüfungenbenötigenLehrendedahersowohltechnischenSupportalsauchdidaktischeSchulungen[2].

ImKnowledgeCafébzw.VortragsollendaherfolgendeFragendiskutiertwerden:

• WiekanndiedidaktischeQualitätderE-Assessmentsverbessertwerden?• Wie sollte eine entsprechende Schulung konzipiert sein? • WiekönnenLehrendezurTeilnahmemotiviertwerden?• Welche Rolle hat der E-Assessment-Service bei der Qualitätssicherung? Wie viel

Unterstützung kann und soll er leisten?

Aus den genannten Problemstellungen und Einzelgesprächen mit Lehrenden hat der E-Assessment-Service der TH Wildau ein Schulungskonzept entwickelt, das sowohl technische alsauchdidaktischeFragestellungenadressiert.

Es enthält folgende Aspekte:

• TheoretischerInputzuTestdidaktikinkl.Constructive-Alignment-Konzept• TechnischeMöglichkeitenderE-Assessment-Software• Praktische Arbeit an den Fragen der Lehrenden unter Berücksichtigung von

Lerntaxonomiestufen• Einbindung von E-Assessments in verschiedene Lehrkonzepte

Xenia V. Jeremias1

1Zentrum für Qualitätsentwicklung TH Wildau, DeutschlandE-Mail: xenia.jeremias@th-wildau.de

Testdidaktische Schulungen zur Qualitätssicherung

Know

ledg

e Ca

fé 1

51

UnterstütztwirdderUmstellungsprozessdurchHinweiseundGestaltungsbeispieleaufderWebsitederHochschule [3].Diese können inder Schulung auf die konkreten FragenderLehrenden angewendet werden und damit zur Verbesserung der Fragenqualität beitragen. Als Good-Practice-Beispiele stehen aus den BereichenMathematik und Rechnungswesenetwa2.800elektronischeFragenzurVerfügung.DerLeitfadenkannanderenHochschulenauf Wunsch zur Verfügung gestellt werden.

Abb. 1: Leitfaden E-Assessment. Screenshot: Xenia V. Jeremias

DieQualifizierungvonLehrendenimBereichE-PrüfungenistbedarfsorientiertangelegtundwirdjenachErfahrungundInteressederLehrendenflexibelangepasst.Es istgeplant,dieSchulung im Flipped-Classroom-Format durchzuführen.

Keywords:

E-Assessment,E-Prüfungen,Testdidaktik,Schulung,Beratung,Qualitätssicherung

Quellen:

[1] Karami, M., Baumann, M. (2016). Zum Glück gezwungen? Wie die Einführung eines hochschulweiten Angebots elektronischer Prüfungen gelingen kann. In: T. Brahm et al. (Hrsg.), Pädagogische Hochschulentwicklung. S. 317, Wiesbaden: Springer Fachmedien

[2] Hochschulforum Digitalisierung (2015): E-Assessment als Herausforderung. Empfehlungen für Hochschulen. https://hochschulforumdigitalisierung.de/sites/default/files/dateien/HFD%20AP%20Nr%202_E-Asessment%20als%20Herausforderung%20Handlungsempfehlungen%20fuer%20Hochschulen.pdf, zuletzt aufgerufen am 30.05.2017

[3] www.th-wildau.de/eassessment, zuletzt aufgerufen am 30.05.2017

Know

ledg

e Ca

fé 1

52

Fragestellung/Zielsetzung

Prüfungsitems müssen aus unterschiedlichen Gründen überarbeitet werden, wie zumBeispielschlechtepsychometrischeStatistikenoderBekanntheitderPrüfungsitemsbeidenTeilnehmern. Die Erstellung neuer Items ist ein langwieriger und arbeitsintensiver Prozess. Umsowichtiger ist es, dass die Vergleichbarkeit zwischen den neu erstellten und bereitsetablierten Items auf einfache Weise sichergestellt werden kann. In diesem Beitrag werden Ergebnisse eines Anwendungsbeispiels dargestellt. Im Rahmen der Objective StructuredClinicalExaminations (OSCE)wurdegeprüft,obsogenannteBrückenitems(„linked items“)ein geeignetes Mittel zur Bewertung der Prüfungsleistungen zwischen den Semesterndarstellen.

Material/Methoden

BeidenOSCEswurdeein„linkeditem“-Ansatzverwendet,uminsgesamt427Items(WS2015/2016& SS 2017)mittels Raschmodell zu analysieren. Dabei wurden Items, die beiallen zu untersuchenden Prüfungen vorgegeben wurden, als sogenannte Brücken items oder Linkitems verwendet („anchored-item-design“). Diese verlinkten Items ermöglichen mitRaschmodell-Analysen, die Itemschwierigkeiten für den kompletten Itempool (bestehendaus etablierten und neu erstellten Items) und die Prüfungsleistungen (über Schätzung eines Personenparameters, der die Prüfungsleistung widerspiegelt) für alle Teilnehmer zu bestimmen.

Ergebnis

Nach einer Überprüfung auf Raschmodell-Konformität mittels Modelltests ist ein fairerVergleich zwischen den Items als auch zwischen den Prüfungsleistungen aller Teilneh-mer über die verschiedenen Prüfungstermine möglich. Die Parameterschätzungen für die Aufgaben und die Prüfungsleistungen der Teilnehmer zeigen ein valides Raschmodell. Durch dieGültigkeitdesRM-ModellsistdieVergleichbarkeitzwischendenItemsalsauchzwischenden verschiedenen Teilnehmern (unabhängig aus welchem Semester) gege ben.

Take-Home-Message

DieVerwendungvonBrückenitems isteinezuverlässigeMethode,umfaireundeffizienteVergleichezwischenItemsausverschiedenenSemesterndurchführenzukönnen.Gleichzeitigkönnen auch die Prüfungsleistungen der Teilnehmer aus den verschiedenen Semestern fair und zuverlässig miteinander verglichen werden.

Joy Backhaus1, Herbert Poinstingl2, Chantal Rabe1, Sarah König1 & Eva Hennel3

1Institut für Medizinische Lehre und Ausbildungsforschung Würzburg, Deutschland2Psychologische Fakultät, Universität Wien, Österreich3Lehrklinik der Medizinischen Fakultät Würzburg, Deutschland E-Mail: Backhaus_J@ukw.de, herbert.poinstingl@gmail.com, Rabe_Chantal@ukw.de, Koenig_Sarah@ukw.de & Hennel_E@ukw.de

Wie unfair! Die neuen Prüfungsitems sind doch viel schwieriger als die alten – ein empirischer Lösungsansatz

Know

ledg

e Ca

fé 1

53

Unsere Intention im Knowledge Cafe

ImRahmendesKnowledge-CafesmöchtenwirdenTeilnehmernanbieten,primärpraktischeAspektedesAnsatzeszudiskutieren:

1. Wie viele Brückenitems benötige ich, wenn ich diesen Ansatz implementierenmöchte?

2. Wie wurde der Ansatz von den Studierenden und Prüfern aufgenommen?

3. Wie sind wir in den Folgesemestern verfahren?

Keywords:

ProbabilistischeTesttheorie,anchored-item-design,Fairness,Medizin

Quellen:

[1] Wright, B. D. (1977). Solving measurement problems with the Rasch model. Journal of Educational Measurement, 14(2), 97-116.

[2] Bond, T. G., & Fox, C. M. (2013). Applying the Rasch model: Fundamental measurement in the human sciences. Psychology Press.

Know

ledg

e Ca

fé 1

54

Die Notwendigkeit des Einsatzes elektronischer Unterstützug beim Prüfen, ergibt sich aus vielfältigen Einflüssen der Digitalisierung [1]. Damit E-Assessment in Lehre undPrüfungswesenerfolgreichimplementiertundgenutztwerdenkann,wirddessenAkzeptanzdurch Studierende vorausgesetzt. In der durchgeführten Studie zum Thema „Akzeptanzvon E-Assessment aus der Sicht von Studierenden“ im Sommersemester 2015 und Wintersemester2015/16wurdeebendieseuntersucht.

Bisher gibt es wenig Forschungsarbeiten, die Einstellung und Akzeptanz von Studierenden in Hinblick auf E-Prüfungen eingehend beleuchten. Zur Erfassung von Einstellungen sowie möglicher Bedenken und Unsicherheiten im Umgang mit E-Prüfungen wurde auf das TechnologieakzeptanzmodellvonDavis[2]zurückgegriffen.DieAkzeptanzvonTechnologienlässt sich anhand des wahrgenommenen Nutzens und der wahrgenommenen einfachen Bedienbarkeit vorhersagen. Je höher der Nutzen eines Systems sowie dessen einfache Bedienbarkeit empfunden werden, desto eher ist der/die Anwender/-in dazu bereit,die Innovation zu nutzen. Zusätzlich wurde in der Literatur nach möglichen externenEinflussfaktoren gesucht und auf den gefundenen Studienergebnissen basierend, die zuuntersuchenden Hypothesen erstellt.

Ziel dieser Studie war es, die Einstellungsakzeptanz (wahrgenommener Nutzen, wahrgenommene einfache Bedienbarkeit) von N = 521 Studierenden insbesondere auf E-Prüfungenzuerfassen.ZusätzlichwurdenEinflussfaktorenaufdieEinstellungsakzeptanzuntersucht: Geschlecht,medienbezogene Selbstwirksamkeit, Präferenz der Prüfungsform,Einschätzung der eigenen Leistung, Bedenken bei der Durchführung elektronischer Prüfungen und Prüfungsangst. Die Datenerhebung erfolgte mit Hilfe eines quantitativenOnlinefragebogensdirekt imAnschluss aneineE-Prüfung. StatistischeBerechnungen vonMittelwerten,t-TestsundVarianzanalysenerfolgtenmitHilfederStatistik-SoftwareSPSS.

Im Knowledge Café werden relevante Ergebnisse der durchgeführten Studie präsentiert:Akzeptanzwerte der Studierenden, Faktoren für die Akzeptanz von E-Prüfungen welche identifiziertwerdenkonnten,BedenkendiegegenüberE-PrüfungengeäußertwurdenundKonsequenzen welche sich daraus für Theorie und Praxis beim Einsatz von E-Prüfungen ergeben.

Die präsentierten Ergebnisse dienen der anschließendenDiskussion alsGrundlage.DabeisollenErfahrungenderTeilnehmerandererHochschulenberichtetunddiskutiertwerden.

Katja Sesselmann1, Stefanie Zepf1, Michaela Gläser-Zikuda2

1 Institut für Lern-Innovation, Universität Erlangen-Nürnberg, Deutschland2 Institut für Erziehungswissenschaft, Lehrstuhl Schulpädagogik, Universität Erlangen-Nürnberg, Deutschland E-Mail: katja.sesselmann@ili.fau.de, stefanie.zepf@ili.fau.de, michaela.glaeser-zikuda@fau.de

Akzeptanz von E-Assessment aus der Sicht von Studierenden

Know

ledg

e Ca

fé 1

55

Keywords:

E-Assessment, E-Prüfung, Technologie-Akzeptanz, Studium

Quellen:

[1] Arnold P., Kilian L., Thillosen A., Zimmer G. (2013). Handbuch E-Learning – Lehren und Lernen mit digitalen Medien. Bielefeld: Bertelsmann

[2] Davis F. D. (1989). Perceived usefulness, perceived ease of use and user acceptance of information technology Source: MIS Quarterly, Vol. 13, No. 3 (Sept. 1989), pp. 319-340.

Know

ledg

e Ca

fé 1

56

DieAusbildungimFach„Statistik“umfasstnebenderVermittlunganalytischerKompetenzenauch die datengestützte Argumentation und die korrekte Interpretation statistischerBefunde.ZudemsollteeinezeitgemäßepraxisorientierteStatistikausbildungauchMethodender elektronischen Datenanalyse abdecken.

Konzipiert man die Statistikprüfung als e-Klausur, so droht einerseits die Gefahr einerReduzierung der abgeprüften Kompetenzen auf Rechenfertigkeit und die Fähigkeit zurGenerierung statistischer Resultate (nicht aber deren kritischerDiskussion, Interpretationund Reflexion). Andererseits eröffnet eine e-Klausur die Möglichkeit, zur BearbeitungderAufgabeneinschlägige Software zuzulassenundmit derAnwendungskompetenz einezusätzliche,berufsqualifizierendeFertigkeitabzuprüfen.DieArtderPrüfungsformgewinntdamiteinepotentielleRückwirkungaufLernzieleundLehrinhalte.

Im Knowledge Café wird vorgestellt, wie dieses (vermeintliche) Dilemma am Fachbereich WirtschaftswissenschaftderUniversitätBremengelöstwird:ImRahmenderelektronischenKlausurimFachStatistikwerdenhierhandschriftlichzubeantwortendeFragenindieKlausuraufgenommen.DadurchkönnenHerleitungen,InterpretationenundgrafischeIllustrationenstatistischerSachverhalteabgefragtwerden.GleichzeitigwirdderEinsatzvonMicrosoftExcelunddemfreizugänglichenProgramm„pqrs“zurBerechnungvonWahrscheinlichkeitenfürparametrische Verteilungen zugelassen. Diese Prüfungsgestaltung hat sich im langjährigen Einsatzbewährt.UmfragenundPrüfungsevaluationenzeigen,dassdasVerfahreneinehoheAkzeptanz bei den Studierenden aufweist.

GleichzeitigfordertdiesespeziellePrüfungsformaucheinenzusätzlichenRessourcenaufwand:DiemanuelleKorrekturderhandschriftlichenKlausurteile istaufwändig, fürdieÜbergabeder (Teil-)Bewertungen in das Prüfungssystem müssen Prozeduren entwickelt und laufend überprüftwerden, und um die Prüfungsmodalitäten transparent zumachen,müssen dieStudierendenanhandeiner „Probeklausur“mitdenBesonderheitenderPrüfungvertrautgemacht werden.

Im Knowledge Café wird die Prüfungsstruktur anhand entsprechender Aufgabentypen illustriert. Anschließend sollen das Konzept und mögliche Alternativen kritisch diskutiertwerden.

Martin Missong Fachbereich Wirtschaftswissenschaft, Universität Bremen, Deutschland E-Mail: missong@uni-bremen.de

Fragengestaltung im Fach „Statistik“

Know

ledg

e Ca

fé 2

57

Keywords:

E-Assessment, Softwaregestützte Prüfung, Kompetenzorientierung, QuantitativeMethodenausbildung

Know

ledg

e Ca

fé 2

58

Im Rahmen eines Verbundprojektes sächsischer Hochschulen zum Thema „DieWeiterentwicklung von E-Assessments für digitalisierte Hochschulen: Grundlegung undVerbreitung vonE-Assessment-Literacy“ [1]wurdeanderHTWKLeipzig imFebruar2017eine elektronische Prüfung im Modul Operations Research durchgeführt. WesentlicheKompetenzen, die es abzuprüfen galt, waren dabei Modellierungsfähigkeiten sowie mathematischeundalgorithmischeFähigkeiten.

MultipleChoiceAufgabensindnachAnsichtderAutorennurpartiellgeeignet,umverlässlichmathematische und algorithmische Kompetenzen der Studierenden abzufragen. Hierkommen eher komplexe Aufgaben zum Einsatz, die sich unter anderem dadurch auszeichnen, dasskleineFehlerinZwischenschrittenzufalschenErgebnisseninallenfolgendenSchrittenführen, obwohl letztere grundsätzlich korrekt durchgeführt wurden. Eine faire Bewertung von Studierendenleistungen verlangt, dass diese Folgefehler angemessen berücksichtigtwerden – eine Forderung, der sich natürlich auch die Bewertung einer elektronisch erbrachtenPrüfungsleistungstellenmuss.MitderONYXTestsuiteistesdurchdieKopplungan das Computeralgebrasystem MAXIMA einerseits möglich zu berechnen, ab welchem Rechenschritt eine Studierendenantwort falsch ist, und andererseits überprüfbar, ob dienachfolgenden Antworten trotzdem korrekt sind.

Die Erstellung von Aufgaben, die derartigen Anforderungen an die Berücksichtigung vonFolgefehlern genügen, verlangt nicht nur einen sehr hohen Zeitaufwand, sondern ist zudem fehleranfällig. Die naheliegende Antwort auf diese Herausforderung ist die gemeinsame Bewältigung ineinemTeamvonAutorenundGutachtern.EinFokusbeiderVorbereitungder Operations-Research-Prüfung lag daher auf der Beschreibung von Autoren- undReviewprozessen, die bei der Erstellung von Prüfungsaufgaben zu durchlaufen sind, mit der Zielsetzung, daraus Verbesserungsvorschläge für das ONYX-System abzuleiten undumzusetzen.

Am Beispiel der Operations-Research-Prüfung stellt der Vortrag den zahlreichenHerausforderungen, die mit einer elektronischen summativen Evaluierung komplexermathematischerFähigkeiteneinhergehen,Lösungsansätzegegenüber.Erzeigtdamitauf,dasselektronischesPrüfenauch innatur-und ingenieurwissenschaftlichenDisziplinenadäquatmöglich ist. Darüber hinaus wird die Notwendigkeit der Formulierung und Überprüfung von QualitätsstandardsbeiderErstellungmathematischerE-Assessmentserklärtundineinemkurzen Ausblick gezeigt, wie durch adaptivesTesteneinÜbergangzuformativenAssessmentsrealisiert werden könnte.

Benjamin Schmidt1, Martin Grüttmüller1, Jana Weigel2

1Fakultät Informatik, Mathematik und Naturwissenschaften, HTWK Leipzig, Deutschland2Fakultät für Agrarwissenschaften, Universität Göttingen, Deutschland E-Mail: benjamin.schmidt@htwk-leipzig.de, martin.gruettmueller@htwk-leipzig.de, jana.weigel@uni-goettingen.de

Erfahrungen mit einer elektronischen Operations-Research-Prüfung mit OPAL/ONYX

Know

ledg

e Ca

fé 2

59

Keywords:

SummativesE-Assessment,mathematischeKompetenzen

Quellen:

[1] Wollersheim, Grüttmüller, Weigel, et al.: „Die Weiterentwicklung von E-Assessments für digitalisierte Hochschulen: Grundlegung und Verbreitung von E-Assessment-Literacy“ in Kawalek, J.; Hering, K. & Schuster, E. (Hrsg.): 14. Workshop on e-Learning - Tagungsband. 22. September 2016, Hochschule Zittau/Görlitz. Wissenschaftliche Berichte, Heft 129 - 2016, Nr. 2690 - 2703.

Know

ledg

e Ca

fé 2

60

ZahlreichePrüfungenbewegensichaufreproduzierendenWissens-oderAnalyseebenen[1],obwohl die avisierten Kompetenzen handelnd ausgerichtet sind. e-Prüfungen besitzen das Potential,dieZieledesConstructiveAlignment[2]realitätsnäherumzusetzen,indemhöhereTaxonomiestufen in die Prüfung integriert werden. Denn nicht nur in der Medizin ist die PrüfungpraktischerFertigkeitenmeistaufwändigenPrüfungsformatenwieOSPE(ObjectiveStructuredPracticalExamination)oderMPP(Mündlich-PraktischePrüfung)vorbehalten.Umdie zu testenden relevanten praktischen Fertigkeiten der Studierenden niederschwelligerprüfen zu können, können klassische Formate wie Mündliche Prüfungen in vielen Fächern mit entsprechend gestalteten digitalen Medien erweitert werden. Auf diesen Überlegungen bautdasKonzeptdervirtuellenDiagnostik(VD)auf.HierbeibearbeitetderPrüflinganeinemTouchscreeneinepraktischeAufgabe.DiesePrüfungsformbefindetsichseiteinigenJahreninderAnwendung[3].NunmehrinteressiertdieFrage,obPrüflingediesemMediumeherrationaloderemotionalbegegnen.

A B

Abb. 1: A: Blended Assessment in einer Mündlichen Prüfung (Szene wurde für dieses Bild nachgestellt). Der Prüfling (rechts) platziert gerade virtuelle Elektroden auf einem virtuellen

Patienten auf dem Tablet und wird dabei vom Prüfer (links) beobachtet. Foto: Mazdak Karami.

B: Bildschirmdarstellung der ersten Prüfungsaufgabe zur Platzierung der Elektroden.

Mit dieser Frage soll geklärt werden, ob die Akzeptanz des Mediums eher transient ist, d.h. momentanvoneineralsmodernempfundenenDigitalisierungswelleprofitiert,oderobsie

Michael Gundlach1, Anke Brocker1, Kim Haps1, Mazdak Karami2, Martin Baumann1

1 Lehrstuhl für Angewandte Medizintechnik, RWTH Aachen, Deutschland2 Medien für die Lehre, RWTH Aachen, Deutschland E-Mail: baumann@ame.rwth-aachen.de, gundlach@ame.rwth-aachen.de, karami@medien.rwth-aachen.de

Blended Assessments: Wie können und warum sollten Mündliche Prüfungen mit e-Prüfungen kombiniert werden?

Know

ledg

e Ca

fé 2

61

beständigist,d.h.dasTabletalssinnvollesHilfsmitteleinenobjektivenZusatznutzenliefert.

AachenerStudierendederNatur-undIngenieurwissenschaftenmitderVertiefungMedizin,diedieMündlichePrüfungzurVeranstaltung„EinführungindieMedizin“(2SemV+P,6SWS)absolvieren, bearbeiten zum Thema Elektrokardiogramm (EKG) zwei Aufgaben auf einemTablet.ZunächstmüsseneinemvirtuellenPatientendreivonviervirtuellenElektrodenfüreinEKG(MessmethodenachEinthoven)perdrag&dropangelegtwerden(Abb.1).FolgendwirdeinervonvierzuvorfestgelegtenEKG-SchriebenzurAnalysepräsentiert(physiologischesEKG,AV-Block1.,2.,3.Grades).DerPrüflingkanninjederTeilaufgabejeweilszweimaleinedigitaleHilfestellunganfordernundzusätzlichdenEKG-SchriebmiteinemStylusdigitalmarkierenbzw.beschriften.WährendderPrüfungerfolgtdieBeobachtungdurchdenPrüfungsbeisitzu.a. hinsichtlich der Kriterien Mündliche Begründungen, Geschwindigkeit und SicherheitderHandlungen.ImAnschlussandiePrüfungwirdderPrüflingumeineSelbstauskunftzurWahrnehmung dieses Prüfungsteils gebeten.Mithilfe des User ExperienceQuestionnaire(UEQ),einemetabliertenFragebogenzurErfassungderUserExperienceeinesProdukts[4],werden die Daten zur Evaluierung der App erhoben.

ZumZeitpunktderAbstracteinreichungläuftdieErhebungnoch.ErsteAuswertungendeutenan,dassPrüflingedemdigitalerweitertenklassischenPrüfungsformatpositivbegegnenundessowohlrationalalsauchemotionalalshilfreichempfinden.

DieNutzungdigitalerMedien inMündlichenPrüfungenkannzukünftigermöglichen,einereale Situation besser abzubilden und zudem die Studierenden im Alltag, in dem dieseMedien selbstverständlich sind, abzuholen.

Keywords:

Blended Assessment, Mündliche Prüfungen, Handlungskompetenzen, user experience

Quellen:

[1] Krathwohl DR. A Revision of Bloom’s Taxonomy: An Overview. Theory Into Practice 2002, Vol. 41(4):212-218 (DOI: 10.1207/s15430421tip4104_2)

[2] Biggs J. Enhancing teaching through constructive alignment. Higher Education 1996, Vol. 32(3):347-364 (DOI: 10.1007/BF00138871)

[3] Karami M, Baumann M. Practical Testing in Oral Exams. Biomed Tech 2014; 59 (s1). (DOI 10.1515/bmt-2014-5015)

[4] User Experience Questionnaire (http://www.ueq-online.org), zuletzt aufgerufen am 06.06.2017

[5] Projekt im Rahmen der Fellowships für Innovationen in der Hochschullehre: Blended Assessments – Praktische und theoretische Fähigkeiten kombiniert prüfen (https://www.stifterverband.org/lehrfellows/2016/baumann), zuletzt aufgerufen am 06.06.2017

Know

ledg

e Ca

fé 2

62

Innovative E-Prüfungen in der Medizin mit CaseTrain

Alexander Hörnlein1, Sarah König2 1Rechenzentrum / E-Learning, Julius-Maximilians-Universität Würzburg, Deutschland2Institut für Medizinische Lehre und Ausbildungsforschung, Universitätsklinikum Würzburg, Deutschland E-Mail: hoernlein@uni-wuerzburg.de, koenig_sarah@ukw.de

Mit dem E-Learning-System CaseTrain werden seit vielen Jahren auch elektronische Prüfungen durchgeführt [1] – in der Medizin bisher aber nur in Form automatischauswertbarer Papierklausuren. Für die Studiengänge Human- und Zahnmedizin wurde nun derflächendeckendeEinsatzvonreinelektronischenPrüfungenmitneuenPrüfungsformatenvorgesehen. Damit CaseTrain hier zum Einsatz kommen konnte, waren zahlreiche Anpassungen und Erweiterungen notwendig.

Infrastruktur und Organisation

Aufgrund zu kleiner Computerpools werden Prüfungen bisher mit mitgebrachten Laptops und gestellten LAN-Kabeln durchgeführt, was einen sehr hohen zeitlichen und personellen Aufwand erfordert. Um diesen zu minimieren, wurden in der Medizinischen Fakultät Prüfungen auf Tablets (Apple iPads) im WLAN der Universität mit Semesterstärke von bis zu 200Studierendenimplementiert.CaseTrainmusstehierzueinerseitssoerweitertwerden,dass die Oberfläche trotz der relativ kleinen Größe der Tablets und ausdifferenzierterPrüfungsformate inkl. Bildmaterial bedienbar ist. Zum anderen musste das Laden der Prüfungsinhalte und die Protokollierung der Ergebnisse so geändert werden, dass trotz der begrenzten Bandbreite insbesondere beim Prüfungsstart keine Verzögerungen entstehen.

Inhaltliche Anforderungen

Im Gegensatz zu Prüfungen anderer Fakultäten bestehen medizinische Prüfungenüberwiegend aus Auswahlfragen mit einem (besonders bei key feature Fällen [2])umfangreicheren Fragestamm mit ggf. Bildmaterial. CaseTrain musste hier so erweitert werden, dass die Studierenden ihre bisherige Bearbeitungsstrategie bei Papierklausuren auch im elektronischen Format anwenden können, nämlichwichtige Inhalte des Fragestamms(farbig) zumarkieren,Antwortenauszustreichenund selbstNotizenoderZeichnungen zuerstellen.

Neue Prüfungsformate

Fragesequenzen. Normalerweise können die Studierenden die Prüfungsfragen in beliebiger Reihenfolgebearbeitenunddie eigenenAntwortenbeliebig oft ändern. Für voneinanderabhängige Fragen, bei denen die Antwort auf eine Frage A durch den Fragestamm einer nachfolgenden Frage B verraten wird, musste CaseTrain so erweitert werden, dass eine solche Frage A nur einmal beantwortet werden kann, und dass die zugehörige Frage B erst nach Beantworten der Frage A sichtbar wird.

Know

ledg

e Ca

fé 2

63

Bilder. Ein durch elektronische Prüfung sehr viel eleganter umsetzbares Format sind Fragen zu Bildern, die bisher entweder aufwändig als Farbausdrucke ausgeteilt oder im Wechsel projiziert wurden. Für die bessere Auswertung von Bildern wurde eine komfortable Lupenfunktiongeschaffen.

Auswahlfragen/Bewertungen. CaseTrain wurde um die Unterstützung für kprim-Fragen [3], neue Auswertungsschemata und dieMöglichkeit, pro Frage das Auswertungsschemafestzulegen, erweitert.

Evaluation

Im Wintersemester 16/17 wurden bereits drei Prüfungen durchgeführt. DieAuswertung der Online-Umfragen mit Rücklaufquoten über 75% gaben Hinweise auf Verbesserungsmöglichkeiten, die bereits im Verlauf dieser Prüfungen umgesetzt werden konnten.SowurdedasItem„DieAusgabederiPadsverliefproblemlos“indererstenPrüfungnochdurchschnittlichmit „triffteher zu“bewertet, inderdritten schonmehrheitlichmit„trifftvollzu“.

Diskussion und Ausblick

Die Tablet-Prüfungen in der Medizin fanden eine hohe Akzeptanz bei den Studierenden. Die Durchführbarkeit in einer großen Semesterkohorte konnte unter Beweis gestellt werden. Die Anzahl der Prüfungen wird nun bis zum Vollausbau sukkzessive erhöht. Für die nächsten Prüfungen wurde vor allem das Inhaltsverzeichnis im Prüfungsplayer mit dem BearbeitungszustandderFragenklarergestaltetundmitFilterfunktionenversehen,sodassgezielter zu noch unbeantworteten oder markierten Fragen navigiert werden kann. Nicht zuletztwurdeeindringendbenötigtesFeatureimplementiert,umdieStudierendeninderZeit zwischen Beendigung ihrer Prüfung und dem Ende der allgemeinen Prüfungszeit zu beschäftigen:Spiele.

ImRahmendesKnowledgeCaféisteineDemonstrationdesSystemssowohlausSichtderPrüfendenalsauchausSichtderPrüflingegeplant,diebenötigteniPadswerdengestellt.

Quellen:

[1] Hörnlein A, Pearson K, Puppe F, Scheuchenpflug R, Tscherner M (2015). Summative elektronische Prüfungen an der Universität Würzburg mit CaseTrain. In: e-Prüfungs-Symposium ePS, 18. – 19. November 2015, Paderborn

[2] Page G, Bordage G, Allen T (1995). Developing key-feature problems and examinations to assess clinical decision-making skills. Academic Medicine

[3] Krebs R (2004). Anleitung zur Herstellung von MC-Fragen und MC-Prüfungen für die ärztliche Ausbildung. Institut für Medizinische Lehre IML, Universität Bern

Know

ledg

e Ca

fé 2

64

Julia Finken1, Philipp Krieter1, Benjamin Weyel2

1 Institut für Informationsmanagement Bremen GmbH, Universität Bremen, Deutschland2 Institut für musikpädagogische Forschung, Hochschule für Musik, Theater und Medien Hannover, Deutschland E-Mail: jfinken@ifib.de, pkrieter@ifib.de, benjamin.weyel@hmtm-hannover.de

E-Assessment im Musikunterricht

Das Projekt ”PosyMus – Potenziale von Feedbacksystemen im Musikunterricht” befasst sich mit Kompetenzmessungen im Musikunterricht sowie der Ergebnisrückmeldung an Lehrkräfte. Die Messung von Musikkompetenzen mittels computerbasierter Tests hatinsbesondere in den musikpraktischen Teilkompetenzen – in Anlehnung an [6] und [7]habenwir uns auf die curricularen Bereiche „Musikwahrnehmenund kontextualisieren“sowie„Musikpraxis“konzentriert–besondere fachspezifischeAnforderungen.GeradedieMessung von rhythmischen und tonalen Kompetenzen setzt neuartigemultimediale undinteraktive Testitems und Visualisierungen voraus [4]. Neben denHerausforderungen beider Itemkonzeption und -entwicklung (vgl. Abb. 1) ist auch die geeignete Visualisierungder Kompetenzmessdaten hinreichend komplex. Für musikpraktische Eingaben müssenbesondere Auswertungs- und Visualisierungsstrategien gefunden werden, um sonst nur auditiv erfassbare und flüchtige Informationen in einem elektronischen Feedbacksystemgewinnbringend abbilden zu können. Hieraus ergibt sich die Notwendigkeit einer engen ZusammenarbeitzwischenMusikpädagogInnenundInformatikerInnen.

Abb. 1: Musikpraktisches Testitem des PosyMus Testsystems

Das Forschungsprojekt legt den wissenschaftlichen Fokus auf die Untersuchung derMöglichkeiten des Feedbacks aus musikbezogenen Kompetenzmessungen. Dabei ist die Frage,wiedieDarstellungderDatensowiedesInteraktionsdesignsgestaltetseinmüssen,damitLehrkräftedieErgebnissefürFörderungundUnterrichtsentwicklungnutzenkönnenvonzentralerBedeutung.ZudemwerdenHaltungenundBeliefsderLehrkräftezudigitalenMedien, E-Assessment und schulischer Datennutzung untersucht. In welcher Weise

Post

er

65

KompetenzmessdatenfürDiagnoseundFörderungimSinneeinesformativenAssessment[5]genutztwerdenkönnte,wirdebenfallsüberprüft.

Um sich ein Bild von diesen Haltungen und Beliefs sowie möglichen Nutzungsszenarien schaffen zu können, hat das Forschungsteam qualitative Interviews, angelehnt an dieGrounded Theory [1] Methodologie geführt. Um geeignete Darstellungsformen derMusikkompetenzdaten zu finden, wurde das Feedbacksystem mithilfe der Lehrkräfte inAnlehnung an den User Centered Design Prozess [2][3] in mehreren Iterationsschrittenentwickelt und durch Usabilitytests evaluiert.

Die Interviewauswertung dauert noch an, es zeichnet sich bisher ab, dass die Einstellung zu digitalen Medien im Allgemeinen eng mit der Akzeptanz von E-Assessment zusammenhängen würde. Die bisherigen Usabilitytests mit Lehrkräften ergaben ein positives Bild, dasentwickelte System scheint geeignet, um musikbezogene Kompetenzmessdaten abzubilden und diese verstehen und nutzen zu können.

Um das System in den Schulalltag zu integrieren, wäre es notwendig, auf der einen Seite die generelle Akzeptanz zur digitalen Kompetenzmessung im Musikunterricht und auf der anderen Seite die technischen Voraussetzungen durch ein geeignetes Test- und Rückmeldesystemzuschaffen.

Keywords:

E-Assessment, Kompetenzmessung, Musikunterricht, elektronische Rückmeldesysteme

Quellen:

[1] Strauss, A., Corbin, J. (2010). Grounded Theory: Grundlagen qualitativer Sozialforschung. Weinheim, Beltz.

[2] Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann, San Francisco.

[3] Abras, C., Maloney-Krichmar, D., Preece, J. (2004). User-centered design. In: W. Bainbridge (Hrsg.), Encyclopedia of Human-Computer Interaction, 37 4. S. 445–456. Thousand Oaks: Sage Publications, London.

[4] Finken, J., Marx, F., Meyer, M., Krieter, P., Breiter, A. (2017). Entwicklung und Durchführung computerbasierter Tests zur Messung von Musikkompetenzen. In: Proceedings of DeLFI 2017 - Die 15. E-Learning Fachtagung Informatik der Gesellschaft für Informatik e. V., (in Veröffentlichung).

[5] Fautley, M. (2010). Assessment in music education. Oxford, Oxford University Press.

[6] Hasselhorn, J. (2015): Messbarkeit musikpraktischer Kompetenzen von Schülerinnen und Schülern: Entwicklung und empirische Validierung eines Kompetenzmodells. Waxmann, Münster.

[7] Jens Knigge. (2011). Modellbasierte Entwicklung und Analyse von Textaufgaben zur Erfassung der Kompetenz „Musik wahrnehmen und kontextualisieren“. Berlin, LIT.

Post

er

66

Das interdisziplinäre Verbundprojekt „Computerbasiertes adaptives Testen imStudium – CaTS“ verfolgt das übergreifende Ziel, traditionelle Assessmentverfahren imHochschulkontextinRichtungcomputerbasiertesadaptivesTesten(CAT)weiterzuentwickeln.Im CaTS-Verbundprojekt soll dies durch die Entwicklung eines computerbasierten adaptiven Testverfahrens, welches im Semesterverlauf formativ in zwei Disziplinen(Bildungswissenschaften und Informatik) eingesetzt werden soll, erreicht werden.Darüber hinaus sollen Empfehlungen zum Einsatz formativer und summativer „CATs“im Hochschulkontext erarbeitet werden. Die rasche Durchführung und die objektiveAuswertung computerbasierter Assessments sind nur einige Vorteile dieser Verfahren, wie auchdieMöglichkeitzurUmsetzunginnovativerAufgabenformateundzurkontinuierlichenAnalyse von Aufgaben über Kohorten hinweg [4]. Dabei bieten computergestützteAssessments auch dieMöglichkeit, adaptives Testen im Hochschulkontext zu realisieren.Beim computerbasieren adaptiven Testen [3] orientiert sich die Auswahl vorgelegterAufgaben direkt am Antwortverhalten der Studierenden. Es wird dadurch vermieden, dass Studierende mit hoher/niedriger Kompetenz wiederholt zu leichte/schwere Aufgabenbearbeiten müssen.

Abb. 1: Beispiel für verschiedene Wege in einem adaptiven Test (in Anl. an [5])

Holger Horz1, Detlef Krömker1, Frank Goldhammer2,3, Daniel Bengs2, Sabine Fabriz1, Florian Horn1, Ulf Kröhne2,Paul Libbrecht2, Jana Niemeyer1, Daniel Schiffner1, Alexander Tillmann1, S. Franziska C. Wenzel11Goethe-Universität Frankfurt am Main (GU),2Deutsches Institut für Pädagogische Forschung (DIPF)3Zentrum für internationale Bildungsvergleichsstudien (ZIB)E-Mail (Koordination): fabriz@psych.uni-frankfurt.de

Computerbasiertes adaptives Testen im Studium – CaTS

Post

er

67

Zwar ist adaptives Testen im deutschen Hochschulkontext bislang wenig verbreitet, esliegen aber nutzbare Erfahrungen aus anderen Ländern [1] vor. Auch zeigt sich, dasscomputerbasierteadaptiveTestsvonStudierendenalsangenehmeralsPapier-und-BleistiftKlausurenwahrgenommenwerden[2].ÜberdieVerwendungvonMessmodellenderItem-Response-Theorie (IRT)wirdauchbeiadaptiverAufgabenauswahlein fairerVergleichvonStudierendenleistungen ermöglicht.

Im Projekt verfolgte Forschungsfragen sind:

1. Lässt sich erstens ein CAT mit zugrundeliegender Itemdatenbank und Metadatenverwaltung entwickeln, der Lehrveranstaltungen unterschiedlicher DomänenundunterschiedlicherLehrendersummativundformativabbildenkann?

2. Zeigt die formative Durchführung des entwickelten Tests mit lernförderlichenRückmeldungen die erwarteten positiven Effekte für Studierende (z.B. auf dieLernmotivation)?

3. Lässt sich aus den Projektergebnissen und einer prüfungsrechtlichen Beratung eine ModellösungfürrechtssicheresadaptivessummativesTestenanderHochschuleableiten?

Für disziplinen- und hochschulübergreifende Ergebnisse arbeitet CaTS mit zwei Beispieldisziplinen (Bildungswissenschaften und Informatik) und zugleich in Kooperationmit verschiedenen Hochschulstandorten: den Hochschulen Rhein-Main und Fulda sowie den Universitäten Bielefeld und Hamburg. Als Projektergebnisse werden die Vernetzung von Lehrenden und Standorten in gemeinsamen Domänen in der Erstellung und Nutzung gemeinsamerAufgabenpools,eingeprüfterCaTS-Test,dernachProjektendeauchfürweitereDomänenadaptierbarseinsoll,sowieEmpfehlungenzumEinsatzformativerundsummativerCATsimHochschulkontextunterBerücksichtigungvonForschungsstand,Projektergebnissenund prüfungsrechtlicher Begutachtung erwartet.

Keywords:

E-Assessment,adaptivesTesten,Diagnostik

Quellen:

[1] Lilley, M. (2007). The development and application of computer-adaptive testing in a higher education environment (Dissertation Thesis). School of Computer Science, Faculty of Engineering and Information Sciences, University of Hertfordshire.

[2] Maravić Čisar, S., Čisar, P. & Pinter, R. (2016). Evaluation of knowledge in object oriented Programming course with computer adaptive tests. Computers & Education, 92-93, 142–160.

[3] Meijer, R. R. & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23, 187-194.

[4] Michel, L.P. & Görtz, L. (2015). Digitales Prüfen und Bewerten im Hochschulbereich. Gütersloh: CHE Centrum für Hochschulentwicklung.

[5] Talent Q (2017). https://www.trytalentq.com/about-talent-q/ (Stand 29.06.2017)

Post

er

68

InschulischenLehr-Lern-SettingssinddigitaleMedienkaummehrwegzudenken.Spätestensseit Smartphone und Tablet die breite Masse der Schüler*innen erreicht haben, bieten sich vielfältige ergänzende Möglichkeiten der inhaltlich-didaktischen Gestaltung vonLernarrangements.AllerdingsverändernsichmiteinerqualitativhochwertigenAnreicherungderLehreumdigitaleElementeauchdieAnforderungenandieLehrkräfteerheblich,diesverbunden mit curricularen Folgewirkungen für das Studium angehender Pädagog*innen. Wenngleich nun die Förderung von eKompeten zen in dieser Zielgruppe nach Beschluss der KultusministerkonferenzbereitseinenwesentlichenBestandteiluniversitärerAusbildung[1]darstellt, sind selbstverständlich nicht alle Studierenden gleichermaßen medienkompetent und -affin.Medienbildung an Hochschulen beinhaltet insofern zum einen die Förderungmediendidaktischen Wissens (unter Berücksichtigung der fachdidaktischen Perspektive),zum anderen jedoch auch und zuvorderst die Förderung der Fähig keiten zur Nut zung digitaler Technologien. Ausgangspunkt hierfür sind die diesbezüglich differenten Vorerfahrungen,Einstellungen und Erwartungen der Studierenden für die Entwicklung und Etablierung angemessenerzielgruppenspezifischeAngebote.

DiesenÜberlegungenundbereitsvorliegendenEvaluationsergebnissenamABPädagogischePsychologiefolgend,wurdeaufderFolieeinesdynamisch-transaktionalenParadigmas[u.a.2,3]dasLehrveranstaltungs-undPrüfungskonzeptfüreinModuldesProfilierungsbereichsan der Universität Vechta entwickelt. Die als Blended-Learning-Veranstaltung konzipierten SeminareofferierendabeidenLernendenAngeboteaufunterschiedlichenNiveaustufen.InAn leh nung an die Forderungen des Europäischen Referenzrahmens für Schlüsselkompetenzen deslebenslangenLernenssollendieStudierendenbefähigtwerden,„Hilfsmittelzubenutzen,um komplexe Informationen zu produzieren, zu präsentieren und zu verstehen“[4],ferner soll eine „kritische und reflektierende Einstellung gegenüber den verfügbarenInformationen“ [ebd.]gefördertwerden.DieVerbindungdigitalerundklassischerMediensowie der Einsatz aktivierenderMethoden werden über den Semesterverlauf analysiert,wobei Tools zur Konzipierung von Ablaufplänen und einzel nen Lehreinheiten erörtert, zudem dieErgebnisseundLernfortschrittedereinzelnenVeranstaltungenvondenStudierendenineinemePortfoliofestgehaltenwerden.DiePrüfungsleistungbeinhaltetmehrereaufeinanderbezogeneTeilezudiversenKomponentenderMedienkompetenzund-didaktik,dazuzähltauchdieErstellungeinesLehr-Lern-VideosmitanschließenderPräsentationundReflektion.

Die zentralen Ergebnisse dieses Projektes (im Fokus stehen dabei die studentischenVideos, das Peer-Assessment und die Lehrveranstaltungsevaluation) sollen im Rahmendes Posterbeitrags vorgestellt und in den aktuellen Forschungsstand eingeordnet werden, ImplikationenfürdieweitereArbeitsollendenBeitragkomplettieren.

Martin K.W. Schweer1, Yvonne Friederich2

1AB für Pädagogische Psychologie, Universität Vechta2 AB für Pädagogische Psychologie, Universität Vechta E-Mail: martin.schweer@uni-vechta.de, yvonne.friederich@uni-vechta.de

Studentische Lehr-Lern-Videos als Basis für kompetenzorien tierte Prüfungs-formen in der Medienbildung angehen der Pä dagog*innen

Post

er

69

Keywords:

E-Assessment, Lehr-Lern-Videos, eKompetenzen

Quellen:

[1] https://www.kmk.org/fileadmin/Dateien/pdf/PresseUndAktuelles/2016/Bildung_digitale_Welt_Webversion.pdf, zuletzt abgerufen am 19.05.2017

[2] Mischel, W. (2004). Toward an Integrative Science of the Person. Annual Review of Psychology 55, S. 1-22

[3] Schweer, M., Siebertz-Reckzeh, K. & Lachner, R. (2012). Hybride Lernarrangements aus differentiell-psychologischer Perspektive. In M. Schweer (Hrsg.), Medien in un serer Gesellschaft. Chancen und Risiken (S. 185-202). Frankfurt a. M.: Peter Lang.

[4] http://www.kompetenzrahmen.de/files/europaeischekommission2007de.pdf, zu letzt abgerufen am 19.05.2017

Post

er

70

Im Freistaat Sachsen hat sich seit 2014 ein offenes, hochschulübergreifendes Netzwerkzum E-Learning-Einsatz im Fachbereich Mathematik/Physik mit Fokus auf E-Assessmentgebildet.GemeinsamwurdendiegenutztenSoftwaresystemeOPALundONYXhinsichtlichAufgabenverwaltung, -erstellung sowie der Testdurchführung und -auswertung weiterentwickelt, um komplexe, mathematische Fragestellungen generisch abbilden zukönnen.GrundlagebildetdieAnbindungandasComputer-Algebra-SystemMAXIMA,sowieMechanismen zum Einsatz von Variablen in generischen Aufgabentemplates, welche die Aufgabengenerierung für jeden Testversuch und Teilnehmer zur Laufzeit ermöglichen.

Abb.1: Aufgabenbeispiel vom Typ Formelvergleich mit zur Laufzeit generierter Grafik und Lösung

Um einen breiten Einsatz über verschiedene Zielgruppen, Studiengänge und Fachsemester von E-Assessments in der Mathematik formativ und summativ erreichen zu können, istein großer Fundus an qualitativen Aufgaben erforderlich. Daher wurde im Netzwerk einhochschulübergreifender Aufgabenpool für den Fachbereich Mathematik initiiert. Dieserumfasst aktuell über 2.000 parametrisierte Aufgaben aus zahlreichen mathematischenTeilgebieten.AnderErstellungbeteiligensich30aktiveAutor/innenaus fünf sächsischenUniversitäten und Fachhochschulen. Die kooperative Erstellung der E-Assessment-Inhaltedurch ein Netzwerk an Fachexperten, der Austausch zu den Realisierungsmöglichkeiten, bis hinzumgegenseitigenReviewermöglicheneinenbreitgefächertenBestandanqualitativenAufgaben.DerAufgabenpoolistdieGrundlagefürverschiedeneVor-undBrückenkurse,eineVielzahl an Online-Self-Assessments und Prüfungsvorleistungen sowie für Abschlusstests.

Markus Seidel1, Yvonne Winkelmann2

1Fakultät Physikalische Technik/Informatik, Westsächsische Hochschule Zwickau, Deutschland2BPS Bildungsportal Sachsen GmbH, Deutschland E-Mail: markus.seidel@fh-zwickau.de, yvonne.winkelmann@bps-system.de

MathOER: Offener Aufgabenpool Mathematik

Post

er

71

Abb.2: Aufgabenpool Mathematik: Thematische Verteilung der Aufgaben inkl. Hochschulmitwirkung

Alle Inhalte liegen im XML-basierten E-Assessment-Standard IMS Question Test and Interoperability (QTI) vor. Der Einsatz des offenen, international anerkannten Standardsermöglicht den Austausch der Inhalte mit anderen Systemen und im Besonderen die einfacheKonvertierungvonundinandereFormate.SokönnendieTestinhaltebeispielsweiseaufeinfacheWeisealsPDFexportiertfürPapierklausureneingesetztwerden.VerschiedeneImportmöglichkeiten unterstützen die Übernahme bestehender Inhalte oder die schnellere Erfassung von Aufgabeninhalten (bspw. LaTeX-Import).

NächsterSchrittdesNetzwerkesistderAusbauunddieweitereÖffnungdesAufgabenpoolssowie die Erschließung neuer Möglichkeiten, mit besonderem Fokus auf adaptiveTestszenarien und individuelle Feedbackprozesse. Im Sinne des Constructive Alignmentsoll eine stärkereKopplungder Lehr-und LernprozessemitdenE-Assessment-Aktivitätenerreicht werden.

Um die Öffnung des Aufgabenpools in Form eines OER-Stores zu erreichen, wurden ineinemKooperationsprojektbereitsdienotwendigenProzesseundRahmenbedingungenzurkooperativenInhaltspflegeermittelt,welchenunschrittweiseoptimiertundrealisiertwerdensollen. Ein wesentlicher Fokus liegt dabei auf den rechtlichen Rahmenbedingungen, wie der Lizenz- und Autorenkennzeichnung, sowie auf Community-Funktionen, um kooperativeReview- und Feedbackprozesse zur Qualitätsanalyse und Verbesserung zu erreichen.

Keywords:

E-Assessment,Aufgabenpool,OER,mathematischeAssessments

Quellen:

[1] Potts D., Winkelmann Y. (2015): Aufbau eines Elektronischen Übungs- und Bewertungstools für die Mathematikausbildung in MINT-Fächern (ELMAT) – Etablierung eines hochschulübergreifenden Aufgabepools zur Unterstützung der Selbstlernphasen in der Studieneingangsphase, GMW 2015

Post

er

72

Im Zuge einer zunehmenden Digitalisierung [1] sind immer mehr Lerninhalte auch imInternet verfügbar. Dies gilt auch für Seminare bzw. Kurse („MOOCS)“ zum Erlernen vonProgrammiersprachen.Beispieldafür sindz.B.CodeScape [2]oderOpenHPI [3].DanebenexistierenähnlichePlattformen,diejedochwenigerdieVermittlungvonFertigkeitenzumZielhaben,sonderndenWettstreitmitandrenTeilnehmern.BeispielehierfürsindCodinGame[4]undCodewars[5].

DieIdeehintersolchenPlattformenistgrundsätzlichdieselbe:EinUserkannperBrowsereinProgramm entwickeln, welches dann an einen Server gesendet und dort kompiliert wird. Die AusgabedesProgrammsbzw.eventuellauftretendeFehlermeldungenwerdendannandenUserzurückgeschicktundimBrowserdargestellt.UmdasProgrammnichtnuraufsyntaktischeKorrektheit zu überprüfen, sondern dessen Funktionsweise ebenfalls zu verifizieren,wirddasProgrammaufdemServermitvorbereitetenTestdatengestartetundüberprüft,obdasgewünschteErgebnisproduziertwird.JenachZielsetzungdesKurseswerdenInformationenüber das Verhalten des Programms in Bezug auf die Testdaten in unterschiedlichen DetailgradenandenBenutzerzurückgegeben.Dabeiwerdendie Informationenteilsnochaufbereitet,umbeispielsweiseHilfestellungbeiderLösungvorhandenerProblemezugeben.

Im Unterschied zu einer herkömmlichen Programmierumgebung ist es in diesen Systemen jedoch nicht möglich, den Programmlauf im Detail zu analysieren. Es können weder Haltepunktegesetztwerden,nochderProgrammablaufschrittweisenachvollzogenwerden.Diese Funktionalität ist zwar teilweise in webbasierten Anwendungen nutzbar, dort liegtderFokusaberhauptsächlichaufProgrammiersprachenwieCundC++(mittelsgdbserver[6])oderaufSkriptsprachenwiePHPoderPython(mittelsxdebug[7]oderBibliothekenwieremote-pdb [8]).TrotzderweitenVerbreitung Javas [9],gerade imHochschulumfeld [10][11],gibtesunseresWissensnureinePlatform,diedieseMöglichkeitfürJavabietet,nämlichEclipse CHE [12]. Obwohl quelloffen, müsste zur Nutzung dieser Funktionalität in einereigenen Anwendung die Anbindung des Java-Debuggers aus dem Sourcecode von Eclipise CHEextrahiertundindieeigeneAnwendungportiertwerden.DahersollinunseremProjekteine Bibliothek entwickelt werden, welche die Funktionalität von Eclipse CHE adaptiert.Analog zum Vorbild teil sich die Bibliothek in zwei Komponenten auf: ein Client, der im Browser ein User Interface bereit stellt, und ein Server, der übertragenen Sourcecode in einemDocker-ContainerstartetundentsprechendeInformationenandenClientzurückgibt.DieKommunikationzwischendenbeidenKomponentenerfolgtübereineREST-Schnittstelle.

Richard Zameitat1, Bastian Küppers1,2

1 IT Center, RWTH Aachen, Deutschland2 Learning Technologies Research Group, RWTH Aachen, Deutschland E-Mail: {zameitat, kueppers}@itc.rwth-aachen.de

JDB – Eine Bibliothek für Java-Debugging im Browser

Post

er

73

Keywords:

Java, Debugger, Webservice, REST, Docker

Quellen:

[1] Hochschulforum Digitalisierung, „The Digital Turn - Hochschulbildung im digitalen Zeitalter. Arbeitspapier Nr. 27.,“ Hochschulforum Digitalisierung, Berlin, 2016.

[2] RWTH Aachen University, „Codescape,“ Medien für die Lehre, 2016. [Online]. Available: https://codescape.medien.rwth-aachen.de/. [Accessed 13 Juni 2017].

[3] Hasso-Plattner-Institut, „openHPI,“ Hasso-Plattner-Institut, 2013. [Online]. Available: https://open.hpi.de/. [Accessed 13 Juni 2017].

[4] CodinGame, „CodinGame,“ CodinGame, 2016. [Online]. Available: https://www.codingame.com/. [Accessed 13 Juni 2017].

[5] Codewars, „Codewars,“ Codewars, 2014. [Online]. Available: https://www.codewars.com/. [Accessed 13 Juni 2017].

[6] R. Stallman, R. Pesch and S. Shebs, „Debugging with GDB,“ 2002. [Online]. Available: http://ftp.gnu.org/old-gnu/Manuals/gdb-5.1.1/html_node/gdb_130.html. [Accessed 14 Juni 2017].

[7] D. Rethans, „Xdebug,“ 2017. [Online]. Available: https://xdebug.org/. [Accessed 14 Juni 2017].

[8] Python Software Foundation, „remote-pdb 1.2.0,“ 2015. [Online]. Available: https://pypi.python.org/pypi/remote-pdb. [Accessed 14 Juni 2017].

[9] TIOBE, „TIOBE Index,“ 2017. [Online]. Available: https://www.tiobe.com/tiobe-index/. [Accessed 14 Juni 2017].

[10] B. Chalk and K. Fraser, „A Survey on the teaching of introductory programming in Higher Education,“ Februar 2006. [Online]. Available: https://pdfs.semanticscholar.org/6f3c/7bf141cd75e5b91dedef0ecc8a872ee92afc.pdf. [Accessed 14 Juni 2017].

[11] V. Aleksić and M. Ivanovic, “Introductory Programming Subject in European Higher Education,” Informatics in Education, pp. 163-182, September 2016.

[12] Eclipse Foundation, “Eclise CHE,” 2017. [Online]. Available: http://www.eclipse.org/che/. [Accessed 14 Juni 2017].

Post

er

74

Danksagung

OrganisationundDurchführungdes4.E-Prüfungs-SymposiumwärenohnedieHilfeund das Engagement vieler begeisterungsfähiger Menschen nicht möglich gewesen. Unser besonderer Dank gilt unseren Veranstaltungspartnern von der RWTH Aachen und von e-teaching.org, den Reviewerinnen und Reviewern, den Moderatorinnen und Moderatoren sowie natürlich allen, die (davon gehen wir aus) das Symposium durcheigeneBeiträgeoderdieaktiveTeilnahmeanDiskussionenundWorkshopszu einer spannenden und abwechslungsreichen Veranstaltung machen werden. Unseren Sponsoren und Ausstellern sowie der Universität Bremen ist für Ihre großzügige finanzielle Unterstützung zu danken. Nicht zu vergessen sind unserestudentischenHilfskräfte–dengutenGeisternimHintergrundderTagung.

LastbutnotleastdankenwirdemZMML-Team,dasvollzähligfürdasePSverhaftetwurde und sich mit großem Engagement in die Arbeit gestürzt hat.

ImNamendesOrganisationsteams

Jens Bücking

75

KONTAKTDr. Jens BückingZentrum für Multimedia in der Lehre (ZMML)eps@uni-bremen.dehttp://www.e-pruefungs-symposium.de

Wir danken für die Unterstützung durch:

D i g i t a l A s s e s s m e n t