fakultät iii prozesswissenschaften 08.06.2012 evaluationsprojekt der fakultät iii1...
TRANSCRIPT
08.06.2012 Evaluationsprojekt der Fakultät III 1
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Evaluationsprojekt der Fakultät III
Einzelzielvereinbarungen zwischen dem Präsidenten der TU Berlinund der Fakultät III
• Lehrveranstaltungsevaluation• Modulevaluation• Preis für ausgezeichnete Lehre der Freunde der TUB
Projektteam
Leitung: Helmut Schubert, Silke Müllers
Studentische Mitarbeit: Christian Bartke, Jana Andersen, Carina Sulttan, Anna Mikrzak
Wissenschaftliche Beratung: Nina Baur
08.06.2012 Evaluationsprojekt der Fakultät III 2
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Strukturierte Gruppendiskussionen
fehlende Transparenz in der Prüfungsorganisation
fehlende Räume für Gruppenarbeit & Selbststudium
Leistungsdefizite und Prüfungsmisserfolge im Studienfach
hohe psychische Belastung
schlechte Lehrveranstaltungen
Unzufriedenheit mit den Lehrenden
unübersichtliche Studienorganisation
zeitliche & fachliche Überforderung in Mathematik
fehlende Praktikumsplätze
fehlendes Feedback
Welche Faktoren behindern den Studienfortschritt? Was sind Gefahren in den ersten Semestern?
Wenn das Studium abgebrochen wurde, was waren die Gründe?
Voraussetzung für soziale Integration schaffen
Unterstützung des selbst organisierten Lernens
Berücksichtigung des Leistungsniveaus der Studierenden
Evaluation der Lehre und des Workloads
Optimierung der Studien- und Prüfungsorganisation
Berücksichtigung außeruniversitärer Tätigkeit -> Modell für Teilzeitstudium
Erweiterung des Informationsangebots zur Studienfachentscheidung
Maßnahmen für ein erfolgreiches Studium
Umsetzung Studienabbruchanalyse
Fragebogen zum Studienabbruch
Hauptgründe
08.06.2012 Evaluationsprojekt der Fakultät III 3
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Einzelzielvereinbarungen zwischen dem Präsidentender TU Berlin und der Fakultät III
Ziel Maßnahmen Erfolgskriterium Zieldatum Ressourcen-bedarf
Mittel bedarf
Weiter-EntwicklungdesVerfahrenszurEvaluationgroßerLehrver-anstaltungen
Zu den geplanten Maßnahmen gehören u.a.:- Weiterentwicklung der bestehenden Lehrveranstaltungs- evaluationen durch Studierendenbefragungen- Überarbeitung der bisherigen Fragebögen für Vorlesungen und Integrierte Veranstaltungen, ggf. Entwicklung von Fragebögen für weitere Lehrveranstaltungsformen in Zusammenarbeit mit ELV und den anderen Fakultäten- als Erhebungsinstrumente werden - soweit möglich - die Fragemodule von ELV übernommen- Abfrage bestimmter Gruppierungsmerkmale: Fakultät, Studiengang, Geschlecht, Pflichtkennzeichen sowie Fragen zu Workload und Stoffmenge- Verwendung der Kostenstelle als Befragungsmerkmal- Dokumentation des gesamten Verfahrens, um Verstetigung zu gewährleisten- Rückmeldung der real evaluierten Lehrveranstaltungen an
ELV- Feedbacksystem für die Lehrenden
LV-Evaluation an Fak. III wirdregelmäßig in einemtransparenten Verfahrendurchgeführt; die Ergebnissewerden den Beteiligtenmitgeteilt (Feedback);Durchdringungsgrad nacheinem Durchlauf desBefragungsturnus wirddokumentiert;Speicherung der Daten ausUnizensusnotwendige Personalmittel
nachAblauf der ZV: ein/e 40-Std-Tutor/in aus dem Kontingentder Fakultät
01.11.2010bis31.10.2011
verschoben:01.04.2011bis31.03.2012
1 Jahr1 Tutor/in80Std./Monat
12.500evtl.Druck-kosten fürFrage-bögen
Modul-evaluation
Zu den geplanten Maßnahmen gehören u.a.:- Entwicklung von Fragebögen für die Evaluation von Modulen, ggf. unter Berücksichtigung aller Beteiligten (Studierende, Tutoren, Modulverantwortliche)- Modul-Evaluation hinsichtlich der Lehrveranstaltungen (Auswahl und Kombination, Lehrveranstaltungsarten, Lehrformen) und des Zeitpunkts im Studienverlauf- Workload-Evaluation
Umsetzung der Ergebnisse undggf. Überarbeitung der Studien-und Prüfungsordnungen derStudiengänge der Fakultät III
01.11.2010bis31.10.2011
verschoben:01.04.2011bis31.03.2012
1 Jahr1 Tutor/in80Std./Monat
12.500evtl.Druck-kosten fürFrage-bögen
Summe: 25.000
08.06.2012 Evaluationsprojekt der Fakultät III 4
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
• Ausweitung der Befragung auf alle großen Bachelor-Veranstaltungen, dabei
Lehrveranstaltungsevaluation
• Gruppendiskussion zu Praktika Carina Sulttan
• Erstellung eines „Evaluationsplaners“ • Entwicklung eines Feedbacksystems für die Lehrenden • Dokumentation des gesamten Verfahrens
Überarbeitung der bisherigen Fragebögen für Vorlesungenund Integrierte Veranstaltungen Carina Sulttan
Entwicklung von Fragebögen für weitere Lehrveranstaltungsformenwie PR, UE, SE und andere Sonderveranstaltungen Christian Bartke
08.06.2012 Evaluationsprojekt der Fakultät III 5
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Update über Evaluations-Status
Evaluierte Lehrveranstaltungen
SoSe2011
WiSe2011/12
SoSe2012
Anzahl 35 (33) 53 (49) ca. 25
Artangebotene
VLangeboteneVL, UE, PR
angebotenePR,
offene VL
08.06.2012 Evaluationsprojekt der Fakultät III 6
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
• enges Zeitfenster
• Überschneidung von Lehrveran-staltungen bzw. Evaluationsterminen
• Kommunikation mit den Lehrenden(Rückmeldungen auf Emails)
• interne Probleme (Arbeitsplätze, Druck- und Scanmöglichkeiten)
• Desinteresse der Lehrenden und der Studierenden
• rechtzeitige Ankündigung der anstehenden Evaluation
• teilweise Verteilung der Fragebögen durch die Lehrenden selbst
• größeres Zeitfenster der Evaluations-phase, Absprachen per Telefon
• gelöst
• schwierig
Problemanalyse der Evaluation im SoSe 11 & WiSe 11/12
Darstellung der Zielsetzung, des Verfahrens und der Ergebnisse
LösungsversuchLösungsversuchProblemProblem
08.06.2012 Evaluationsprojekt der Fakultät III 7
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Praktikumsevaluation WiSe 2011/12Vorgehen• Pretest eines Fragenkataloges zur Prüfung und Ermittlung
- der Verständlichkeit der Fragen- der Eindeutigkeit und Vollständigkeit der Antwortvorgaben- der Befragungsdauer sowie Interesse und Aufmerksamkeit der Befragten
• Anschreiben der Fachgebiete für Teilnehmerzahlen und Praktikumszeiten
Ergebnis• 7 Praktika erfolgreiche evaluiert
2 Praktika zu wenig Rückmeldungen, 2 Praktika nicht evaluiert Teilnahme an der Evaluation - 215 Studierende gute Bewertung der Praktika:
- bei 48 % der Fragen liegt der Median in der ersten Antwortkategorie- bei 51 % der Fragen liegt der Median in der zweiten Antwortkategorie
08.06.2012 Evaluationsprojekt der Fakultät III 8
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Zeitraum 1.4.2011 bis 31.03.2012• Durchführung der LV-Evaluation in einem transparenten Verfahren• Mitteilung der Ergebnisse an die Beteiligten:
- Dozentenauswertung von UniZensus per Email an die Lehrenden - Studierendenauswertung online im Evaluationsportal der TU- Präsentation der Ergebnisse im Fakultätsrat
• Speicherung der Daten aus Unizensus• Entwicklung und Einsatz eines neuen Fragebogens für Praktika
Erfüllung der Zielvereinbarungenim Bereich Lehrveranstaltungsevaluation
Planung für den Zeitraum 1.4.2012 bis 31.03.2016 • Weiterführung der Evaluation sowie Mitteilung und Speicherung der
Ergebnisse und Dokumentation des Durchdringungsgrades nach jedem Durchlauf durch studentische Mitarbeiterin (40h/Monat) der Fakultät
• Diskussion innerhalb der Fakultät (siehe Folie „Ausblick“)
08.06.2012 Evaluationsprojekt der Fakultät III
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Ausblick Lehrevaluation
SoSe 2012 Lehrevaluation Praktika und evtl. offene Lehrveranstaltungen
Evaluationsplaner• Auswahl Studiengänge, Lehrveranstaltungen (BSc, MSc), Zyklus, weitere LV-Arten (VL, PR, UE, TUT, etc.) • Diskussion in Ausbildungskommission und FKR Überarbeitung des Praktikumsfragenkataloges• Spezielle Fragen zu Protokollen• Anpassung an die verschiedenen Praktikumsformate
Einsatz weiterer EvaluationsinstrumenteBeispiele: „Lehrkonferenzen“, Gruppendiskussionen zu speziellen Themen, Interviews, Forum/Internet, „Kummerkasten“
08.06.2012 Evaluationsprojekt der Fakultät III 10
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Modulevaluation
Workload-Analyse in vier Modulen: Anna Mikrzak Analysis II Energie-, Impuls- und Stofftransport Physikalische Chemie Thermodynamik
Gruppendiskussionen mit Studierenden zur Mathematik Jana Andersen
• Lehrveranstaltungen(Auswahl, Kombination, LV-Art, Lehrformen, Ziele, Kompetenzen)
• Zeitpunkt im Studienverlauf
• Workload
Evaluation der Module hinsichtlich
08.06.2012 Evaluationsprojekt der Fakultät III 11
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Workloaderhebung Konzept
• Standardisierter Fragebogen als Anhang in einigen Fragebögen der Lehrevaluation SoSe 2011
• Präsenzzeit / Selbststudiumzeit / weitere Lebensbereiche• Ziel: Ermittlung der „kritischen“ Module
„Pretest“ Phase – SoSe 2011
• wöchentliche online Umfrage• Präsenzzeit / Selbststudiumzeit• vier evaluierte Module
Kontinuierliche Erhebung – WiSe 2011/12
08.06.2012 Evaluationsprojekt der Fakultät III 12
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
„Pretest“
• Rücklauf: 97% (N=481)• gerade Semester der Bachelorstudiengänge der Fak. III: N=231• Stichprobe ist repräsentativ• Auswertung nach Studiengang und Fachsemesterzahl
Stichprobe
• in den meisten Fällen kein statistischer Zusammenhang zwischen Präsenzzeit und Zeit zum Selbststudium
• Vermutung: es werden weniger Module belegt als im Studienverlaufsplan vorgesehen
• dadurch Wahrnehmung der Selbststudiumszeit möglich
Ergebnisse
08.06.2012 Evaluationsprojekt der Fakultät III 13
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
„Pretest“ Ergebnisse
Studiengang SemesterzahlPräsenzzeit (SWS)
MittelwertSelbststudiumzeit (h)
Median
EPT2 18 bis 10
4 16 bis 4
LMT
2 16
4 16 8-14
6 19 8-10
TUS2 15 14-20
6 11 14 und mehr
WeWi4 19 bis 8
6 10 bis 6/mehr als 10
BGT 2 22 mehr als 10
„SOLLWERT“ ca. 28 ca. 25
08.06.2012 Evaluationsprojekt der Fakultät III 14
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
„Pretest“
• zu kleine Stichproben• Schwierigkeiten der Einschätzung der Stunden im Rückblick auf das
ganze Semester, vor allem für die Selbststudiumszeit• keine Aussagen über die jeweiligen Module
Kontinuierliche Workloaderhebung
Ergebnis
Schwachstellen
• zu geringe Beteiligung insgesamt und zu geringer Rücklauf trotz Anschreiben über ISIS und persönlichen Ankündigungen in den Lehrveranstaltungen
08.06.2012 Evaluationsprojekt der Fakultät III 15
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Gruppendiskussion zu PraktikaThema: „Ökonomische und zeitliche Effizienz von Praktika“• 9 Teilnehmer/innen: Professoren, Wissenschaftlichen Mitarbeiter/innen, studentische Hilfskräfte, Studierende• Vertreter der Studiengänge LMT, TUS, BT, EPT, WW
Auswertung• Nutzen der Praktika für die Studierenden auf wissenschaftlicher Ebene enorm, da Vertiefung des
theoretischen Stoffes und Erfahrungen in der Handhabung• Brücke zwischen Theorie an der Universität und Praxis im späteren Berufsleben• unschätzbarer Vorteil im internationalen Vergleich• Praktika als Element der Lehre unverzichtbar
Fakultät sollte sich für einen Fortbestand der Praktika einsetzen
08.06.2012 Evaluationsprojekt der Fakultät III 16
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Gruppendiskussion: „Mathematik und die Anderen“
Ausgangssituation
Fachliche und inhaltliche Überforderung der Studierenden in den angebotenen Service-Modulen sowie
unangemessene Berechnung der Leistungspunkte
Forschungsfrage:
„Warum fällt es Studierenden der Fakultät III so schwer,
die Mathemodule,
welche von der Fakultät II als Serviceveranstaltungen angeboten werden, zu bestehen?“
08.06.2012 Evaluationsprojekt der Fakultät III 17
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Gruppendiskussion: „Mathematik und die Anderen“
Fallzusammenfassung• eine Gruppendiskussion mit 4 Mitgliedern• ein Gruppeninterview mit 2 Personen• zwei Einzelinterviews
Ergebnisse• vorwiegend positiv• einzelne Zusatzangebote werden differenziert wahrgenommen
(Tutorien-Sprechstunde, online, Fachmentorien usw.)
Maßnahmen• bessere Vernetzung der Studierenden Erstsemesterfahrt• Studierende besser über einzelne Angebote informieren• „Early Bird“ sehr positive Rückmeldung, aber zu wenige Plätze
08.06.2012 Evaluationsprojekt der Fakultät III 18
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Untersuchung der Module• Entwicklung und Einsatz von Fragebögen für die Durchführung der Workload-
Evaluation sowie für die Findung der kritischen Module• Gruppendiskussionen und Interviews zur Mathematik• Gruppendiskussion zur Effizienz von Praktika• Beteiligung der Studierenden und der Lehrenden an der Evaluation durch
Fragebögen sowie an neuen Evaluationsmethoden äußerst gering
Erfüllung der Zielvereinbarungen im Bereich Modulevaluation
Diskussion über Zielsetzung und Verfahren der Evaluation innerhalb der Fakultät notwendig
Modulevaluation noch nicht weit reichend erforscht und derzeit aufgrund mangelnder Beteiligung schwierig
08.06.2012 Evaluationsprojekt der Fakultät III 19
Fakultät III ProzesswissenschaftenFakultät III Prozesswissenschaften
Vergabe des „Preis für vorbildliche Lehre“ der Gesellschaft von Freunden der TU Berlin an die Fakultät III
Verfahren und Zeitplan
• Erstes Treffen der Jury am 8. April 2012
• Auswertung (Ranking) der Evaluationsergebnisse der letzten drei Semester mittels Alexander-Normierung
• Vorschlag von Dozent/innen auf Grundlage des Rankings
• Online-Befragung der Studierenden der Fakultät im Juni 2012
• Entscheidung der Jury Ende SoSe 2012
Vergabe des Preises im Wert von 4000 € auf dem Erstsemestertag 2012
Im Rahmen des Evaluationsprojekt hat sich die Fakultät für den Preis beworben und konnte diesen für sich gewinnen