Fakultät III Prozesswissenschaften 08.06.2012 Evaluationsprojekt der Fakultät III1...

08.06.2012 Evaluationsprojekt der Fakultät III 1

Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften

Evaluationsprojekt der Fakultät III

Einzelzielvereinbarungen zwischen dem Präsidenten der TU Berlinund der Fakultät III

• Lehrveranstaltungsevaluation• Modulevaluation• Preis für ausgezeichnete Lehre der Freunde der TUB

Projektteam

Leitung: Helmut Schubert, Silke Müllers

Studentische Mitarbeit: Christian Bartke, Jana Andersen, Carina Sulttan, Anna Mikrzak

Wissenschaftliche Beratung: Nina Baur



Strukturierte Gruppendiskussionen

fehlende Transparenz in der Prüfungsorganisation

fehlende Räume für Gruppenarbeit & Selbststudium

Leistungsdefizite und Prüfungsmisserfolge im Studienfach

hohe psychische Belastung

schlechte Lehrveranstaltungen

Unzufriedenheit mit den Lehrenden

unübersichtliche Studienorganisation

zeitliche & fachliche Überforderung in Mathematik

fehlende Praktikumsplätze

fehlendes Feedback

Welche Faktoren behindern den Studienfortschritt? Was sind Gefahren in den ersten Semestern?

Wenn das Studium abgebrochen wurde, was waren die Gründe?

Voraussetzung für soziale Integration schaffen

Unterstützung des selbst organisierten Lernens

Berücksichtigung des Leistungsniveaus der Studierenden

Evaluation der Lehre und des Workloads

Optimierung der Studien- und Prüfungsorganisation

Berücksichtigung außeruniversitärer Tätigkeit -> Modell für Teilzeitstudium

Erweiterung des Informationsangebots zur Studienfachentscheidung

Maßnahmen für ein erfolgreiches Studium

Umsetzung Studienabbruchanalyse

Fragebogen zum Studienabbruch

Hauptgründe



Einzelzielvereinbarungen zwischen dem Präsidentender TU Berlin und der Fakultät III

Ziel Maßnahmen Erfolgskriterium Zieldatum Ressourcen-bedarf

Mittel bedarf

Weiter-EntwicklungdesVerfahrenszurEvaluationgroßerLehrver-anstaltungen

Zu den geplanten Maßnahmen gehören u.a.:- Weiterentwicklung der bestehenden Lehrveranstaltungs- evaluationen durch Studierendenbefragungen- Überarbeitung der bisherigen Fragebögen für Vorlesungen und Integrierte Veranstaltungen, ggf. Entwicklung von Fragebögen für weitere Lehrveranstaltungsformen in Zusammenarbeit mit ELV und den anderen Fakultäten- als Erhebungsinstrumente werden - soweit möglich - die Fragemodule von ELV übernommen- Abfrage bestimmter Gruppierungsmerkmale: Fakultät, Studiengang, Geschlecht, Pflichtkennzeichen sowie Fragen zu Workload und Stoffmenge- Verwendung der Kostenstelle als Befragungsmerkmal- Dokumentation des gesamten Verfahrens, um Verstetigung zu gewährleisten- Rückmeldung der real evaluierten Lehrveranstaltungen an

ELV- Feedbacksystem für die Lehrenden

LV-Evaluation an Fak. III wirdregelmäßig in einemtransparenten Verfahrendurchgeführt; die Ergebnissewerden den Beteiligtenmitgeteilt (Feedback);Durchdringungsgrad nacheinem Durchlauf desBefragungsturnus wirddokumentiert;Speicherung der Daten ausUnizensusnotwendige Personalmittel

nachAblauf der ZV: ein/e 40-Std-Tutor/in aus dem Kontingentder Fakultät

01.11.2010bis31.10.2011

verschoben:01.04.2011bis31.03.2012

1 Jahr1 Tutor/in80Std./Monat

12.500evtl.Druck-kosten fürFrage-bögen

Modul-evaluation

Zu den geplanten Maßnahmen gehören u.a.:- Entwicklung von Fragebögen für die Evaluation von Modulen, ggf. unter Berücksichtigung aller Beteiligten (Studierende, Tutoren, Modulverantwortliche)- Modul-Evaluation hinsichtlich der Lehrveranstaltungen (Auswahl und Kombination, Lehrveranstaltungsarten, Lehrformen) und des Zeitpunkts im Studienverlauf- Workload-Evaluation

Umsetzung der Ergebnisse undggf. Überarbeitung der Studien-und Prüfungsordnungen derStudiengänge der Fakultät III

01.11.2010bis31.10.2011

verschoben:01.04.2011bis31.03.2012

1 Jahr1 Tutor/in80Std./Monat

12.500evtl.Druck-kosten fürFrage-bögen

Summe: 25.000



• Ausweitung der Befragung auf alle großen Bachelor-Veranstaltungen, dabei

Lehrveranstaltungsevaluation

• Gruppendiskussion zu Praktika Carina Sulttan

• Erstellung eines „Evaluationsplaners“ • Entwicklung eines Feedbacksystems für die Lehrenden • Dokumentation des gesamten Verfahrens

Überarbeitung der bisherigen Fragebögen für Vorlesungenund Integrierte Veranstaltungen Carina Sulttan

Entwicklung von Fragebögen für weitere Lehrveranstaltungsformenwie PR, UE, SE und andere Sonderveranstaltungen Christian Bartke



Update über Evaluations-Status

Evaluierte Lehrveranstaltungen

SoSe2011

WiSe2011/12

SoSe2012

Anzahl 35 (33) 53 (49) ca. 25

Artangebotene

VLangeboteneVL, UE, PR

angebotenePR,

offene VL



• enges Zeitfenster

• Überschneidung von Lehrveran-staltungen bzw. Evaluationsterminen

• Kommunikation mit den Lehrenden(Rückmeldungen auf Emails)

• interne Probleme (Arbeitsplätze, Druck- und Scanmöglichkeiten)

• Desinteresse der Lehrenden und der Studierenden

• rechtzeitige Ankündigung der anstehenden Evaluation

• teilweise Verteilung der Fragebögen durch die Lehrenden selbst

• größeres Zeitfenster der Evaluations-phase, Absprachen per Telefon

• gelöst

• schwierig

Problemanalyse der Evaluation im SoSe 11 & WiSe 11/12

Darstellung der Zielsetzung, des Verfahrens und der Ergebnisse

LösungsversuchLösungsversuchProblemProblem



Praktikumsevaluation WiSe 2011/12Vorgehen• Pretest eines Fragenkataloges zur Prüfung und Ermittlung

- der Verständlichkeit der Fragen- der Eindeutigkeit und Vollständigkeit der Antwortvorgaben- der Befragungsdauer sowie Interesse und Aufmerksamkeit der Befragten

• Anschreiben der Fachgebiete für Teilnehmerzahlen und Praktikumszeiten

Ergebnis• 7 Praktika erfolgreiche evaluiert

2 Praktika zu wenig Rückmeldungen, 2 Praktika nicht evaluiert Teilnahme an der Evaluation - 215 Studierende gute Bewertung der Praktika:

- bei 48 % der Fragen liegt der Median in der ersten Antwortkategorie- bei 51 % der Fragen liegt der Median in der zweiten Antwortkategorie



Zeitraum 1.4.2011 bis 31.03.2012• Durchführung der LV-Evaluation in einem transparenten Verfahren• Mitteilung der Ergebnisse an die Beteiligten:

- Dozentenauswertung von UniZensus per Email an die Lehrenden - Studierendenauswertung online im Evaluationsportal der TU- Präsentation der Ergebnisse im Fakultätsrat

• Speicherung der Daten aus Unizensus• Entwicklung und Einsatz eines neuen Fragebogens für Praktika

Erfüllung der Zielvereinbarungenim Bereich Lehrveranstaltungsevaluation

Planung für den Zeitraum 1.4.2012 bis 31.03.2016 • Weiterführung der Evaluation sowie Mitteilung und Speicherung der

Ergebnisse und Dokumentation des Durchdringungsgrades nach jedem Durchlauf durch studentische Mitarbeiterin (40h/Monat) der Fakultät

• Diskussion innerhalb der Fakultät (siehe Folie „Ausblick“)

08.06.2012 Evaluationsprojekt der Fakultät III


Ausblick Lehrevaluation

SoSe 2012 Lehrevaluation Praktika und evtl. offene Lehrveranstaltungen

Evaluationsplaner• Auswahl Studiengänge, Lehrveranstaltungen (BSc, MSc), Zyklus, weitere LV-Arten (VL, PR, UE, TUT, etc.) • Diskussion in Ausbildungskommission und FKR Überarbeitung des Praktikumsfragenkataloges• Spezielle Fragen zu Protokollen• Anpassung an die verschiedenen Praktikumsformate

Einsatz weiterer EvaluationsinstrumenteBeispiele: „Lehrkonferenzen“, Gruppendiskussionen zu speziellen Themen, Interviews, Forum/Internet, „Kummerkasten“



Modulevaluation

Workload-Analyse in vier Modulen: Anna Mikrzak Analysis II Energie-, Impuls- und Stofftransport Physikalische Chemie Thermodynamik

Gruppendiskussionen mit Studierenden zur Mathematik Jana Andersen

• Lehrveranstaltungen(Auswahl, Kombination, LV-Art, Lehrformen, Ziele, Kompetenzen)

• Zeitpunkt im Studienverlauf

• Workload

Evaluation der Module hinsichtlich



Workloaderhebung Konzept

• Standardisierter Fragebogen als Anhang in einigen Fragebögen der Lehrevaluation SoSe 2011

• Präsenzzeit / Selbststudiumzeit / weitere Lebensbereiche• Ziel: Ermittlung der „kritischen“ Module

„Pretest“ Phase – SoSe 2011

• wöchentliche online Umfrage• Präsenzzeit / Selbststudiumzeit• vier evaluierte Module

Kontinuierliche Erhebung – WiSe 2011/12



„Pretest“

• Rücklauf: 97% (N=481)• gerade Semester der Bachelorstudiengänge der Fak. III: N=231• Stichprobe ist repräsentativ• Auswertung nach Studiengang und Fachsemesterzahl

Stichprobe

• in den meisten Fällen kein statistischer Zusammenhang zwischen Präsenzzeit und Zeit zum Selbststudium

• Vermutung: es werden weniger Module belegt als im Studienverlaufsplan vorgesehen

• dadurch Wahrnehmung der Selbststudiumszeit möglich

Ergebnisse



„Pretest“ Ergebnisse

Studiengang SemesterzahlPräsenzzeit (SWS)

MittelwertSelbststudiumzeit (h)

Median

EPT2 18 bis 10

4 16 bis 4

LMT

2 16

4 16 8-14

6 19 8-10

TUS2 15 14-20

6 11 14 und mehr

WeWi4 19 bis 8

6 10 bis 6/mehr als 10

BGT 2 22 mehr als 10

„SOLLWERT“ ca. 28 ca. 25



„Pretest“

• zu kleine Stichproben• Schwierigkeiten der Einschätzung der Stunden im Rückblick auf das

ganze Semester, vor allem für die Selbststudiumszeit• keine Aussagen über die jeweiligen Module

Kontinuierliche Workloaderhebung

Ergebnis

Schwachstellen

• zu geringe Beteiligung insgesamt und zu geringer Rücklauf trotz Anschreiben über ISIS und persönlichen Ankündigungen in den Lehrveranstaltungen



Gruppendiskussion zu PraktikaThema: „Ökonomische und zeitliche Effizienz von Praktika“• 9 Teilnehmer/innen: Professoren, Wissenschaftlichen Mitarbeiter/innen, studentische Hilfskräfte, Studierende• Vertreter der Studiengänge LMT, TUS, BT, EPT, WW

Auswertung• Nutzen der Praktika für die Studierenden auf wissenschaftlicher Ebene enorm, da Vertiefung des

theoretischen Stoffes und Erfahrungen in der Handhabung• Brücke zwischen Theorie an der Universität und Praxis im späteren Berufsleben• unschätzbarer Vorteil im internationalen Vergleich• Praktika als Element der Lehre unverzichtbar

Fakultät sollte sich für einen Fortbestand der Praktika einsetzen



Gruppendiskussion: „Mathematik und die Anderen“

Ausgangssituation

Fachliche und inhaltliche Überforderung der Studierenden in den angebotenen Service-Modulen sowie

unangemessene Berechnung der Leistungspunkte

Forschungsfrage:

„Warum fällt es Studierenden der Fakultät III so schwer,

die Mathemodule,

welche von der Fakultät II als Serviceveranstaltungen angeboten werden, zu bestehen?“



Gruppendiskussion: „Mathematik und die Anderen“

Fallzusammenfassung• eine Gruppendiskussion mit 4 Mitgliedern• ein Gruppeninterview mit 2 Personen• zwei Einzelinterviews

Ergebnisse• vorwiegend positiv• einzelne Zusatzangebote werden differenziert wahrgenommen

(Tutorien-Sprechstunde, online, Fachmentorien usw.)

Maßnahmen• bessere Vernetzung der Studierenden Erstsemesterfahrt• Studierende besser über einzelne Angebote informieren• „Early Bird“ sehr positive Rückmeldung, aber zu wenige Plätze



Untersuchung der Module• Entwicklung und Einsatz von Fragebögen für die Durchführung der Workload-

Evaluation sowie für die Findung der kritischen Module• Gruppendiskussionen und Interviews zur Mathematik• Gruppendiskussion zur Effizienz von Praktika• Beteiligung der Studierenden und der Lehrenden an der Evaluation durch

Fragebögen sowie an neuen Evaluationsmethoden äußerst gering

Erfüllung der Zielvereinbarungen im Bereich Modulevaluation

Diskussion über Zielsetzung und Verfahren der Evaluation innerhalb der Fakultät notwendig

Modulevaluation noch nicht weit reichend erforscht und derzeit aufgrund mangelnder Beteiligung schwierig



Vergabe des „Preis für vorbildliche Lehre“ der Gesellschaft von Freunden der TU Berlin an die Fakultät III

Verfahren und Zeitplan

• Erstes Treffen der Jury am 8. April 2012

• Auswertung (Ranking) der Evaluationsergebnisse der letzten drei Semester mittels Alexander-Normierung

• Vorschlag von Dozent/innen auf Grundlage des Rankings

• Online-Befragung der Studierenden der Fakultät im Juni 2012

• Entscheidung der Jury Ende SoSe 2012

Vergabe des Preises im Wert von 4000 € auf dem Erstsemestertag 2012

Im Rahmen des Evaluationsprojekt hat sich die Fakultät für den Preis beworben und konnte diesen für sich gewinnen

Fakultät III Prozesswissenschaften 08.06.2012 Evaluationsprojekt der Fakultät III1...

Documents

Transcript of Fakultät III Prozesswissenschaften 08.06.2012 Evaluationsprojekt der Fakultät III1...