Teachers Talk: Teil I

Erfahrungen mit dem Remote Take-Home-Exam

Nach der Prüfungswoche ist vor der Prüfungswoche! In dieser Sonderausgabe teilen vier Lehrende ihre Erfahrungen mit unterschiedlichen Online-Prüfungsformaten aus der ersten Online-Prüfungswoche an der WU im April. Im ersten Teil des Teachers Talk geben Dr. Judith Kohlenberger und Prof. Dr. Axel Polleres Einblicke in die Durchführung ihrer Remote Take-Home-Exams und berichten von Herausforderungen und Vorteilen dieses Prüfungsformates.

Teachers Talk mit Judith Kohlenberger

Warum haben Sie sich für ein Remote-Take Home Exam entschieden?

Ich habe mich aus zwei Gründen für das Remote Take-Home-Exam entschieden: Einerseits erlaubt der flexible Zeitrahmen des Take-Home-Exams, eventuelle technische Schwierigkeiten wie z. B. Verbindungsprobleme abzufedern. Zweitens konnte ich besser auf die unterschiedlichen Bedürfnislagen der Studierenden, darunter Betreuungspflichten oder Home-Office bei Berufstätigen, Rücksicht nehmen. Ein wichtiger Mitgrund war auch die einfache und intuitive technische Umsetzung auf LEARN, da man im Grunde nur eine Arbeitsaufgabe hochladen muss. Ich habe das für meinen Kurs als Worddokument getan, die Studierenden konnten ihre Beantwortung direkt in das Dokument einfügen, lokal abspeichern und die Prüfung nach Ende der Bearbeitungszeit wieder auf LEARN hochladen. Somit musste man nicht über die gesamte Zeitdauer der Prüfung mit LEARN verbunden sein. 

Im Anschluss konnte ich dann alle Abgaben einem automatischen Plagiatscheck unterziehen – auch das ist einer der Vorteile, die Prüfung über LEARN abzuwickeln. Denn gerade beim Take-Home-Exam ist die Gefahr, dass sich Studierende untereinander austauschen oder Inhalte aus dem Internet kopieren, größer als bei anderen Prüfungsvarianten, da mehr Zeit dafür vorhanden ist.

Welche Herausforderungen traten bei der Umstellung auf? 

Eine gewisse Herausforderung stellte die Zusammenstellung der Fragen für das Take-Home-Exam dar. Vom meinem ursprünglichen Plan, die Prüfung als einen Mix aus Wissens- und Analysefragen zusammenzustellen, musste ich natürlich abweichen. Beim Take-Home-Exam bietet es sich an, „große“ Essayfragen zu stellen, für deren Beantwortung die Studierenden Sachverhalte analysieren, vergleichen und bewerten müssen. Ich habe sie außerdem aufgefordert, Pflichtlektüre aus dem Kurs anzuwenden, beispielsweise indem Statistiken oder Fallbeispiele aus Fachpublikationen eingebracht werden sollten. 

Für die erfolgreiche Abwicklung eines Take-Home-Exams empfiehlt es sich, die Studierenden möglichst frühzeitig und detailliert über die zentralen Parameter zu informieren: In welchem Zeitraum findet die Prüfung statt? Welche Materialien dürfen (nicht) verwendet werden? Wie wird die Prüfung aufgebaut sein? Studierende sollten außerdem aufgefordert werden, für den Zeitraum der Prüfung eine ruhige Lernumgebung und sichere Internetverbindung sicherzustellen. Ich habe zudem angeboten, im Prüfungszeitraum (in meinem Fall nur kurze sechs Stunden) telefonisch erreichbar zu sein. Das erlaubte mir, bei inhaltlichen Nachfragen oder technischen Problemen rasch und unkompliziert unterstützen zu können, wofür sich die Studierenden sehr dankbar zeigten. 

Zuletzt sei angemerkt, dass manchmal wohl eine gewisse Kulanz aufgrund der Ausnahmesituation angebracht sein wird: Jene Studierende, die das rechtzeitige Hochladen innerhalb der vorgegebenen Frist minimal verpassten, durften die Prüfung per Email nachreichen. 

Teachers Talk mit Axel Polleres

Prof. Dr. Axel Polleres leitet das Institute for Information Business und war vor die Herausforderung gestellt, Programmieraufgaben als Online-Prüfung abzuwickeln. Im Interview berichtet er davon, wie die Möglichkeit des Schummelns durch individualisierte Prüfungsaufgaben eingedämmt werden konnte, und wie die Studierenden auch während der Prüfung Kontakt zu den Lehrenden halten konnten.

In welcher Form haben Sie das Remote Take-Home-Exam durchgeführt?

In unserer Prüfung aus Datenbanksystemen müssen die Studierenden Programmieraufgaben lösen. Um zu verhindern, dass die Studierenden voneinander abschreiben, gibt es in der Präsenzprüfung normalerweise zwei Gruppen. Für die Distanzprüfung haben wir uns überlegt ein Abschreiben durch individualisierte Fragen in der Prüfung zu erschweren. Es werden also automatisiert individuelle Beispiele generiert, sodass alle Studierenden eine etwas andere Prüfung zu lösen haben. Für unsere Prüfung war die Individualisierung mit Hilfe der LEARN-Zufallsfragen aus einem Fragenpool geschlossener Fragen nicht praktikabel, sodass wir auf eine eigene Lösung (Jupyter) zurückgegriffen haben.

Die Prüfung wurde dann als Remote Take-Home-Exam in einem relativ knappen Zeitrahmen von vier Stunden angeboten. Den Zeitrahmen haben wir so knapp gewählt, weil wir so gut wie möglich vermeiden wollten, dass die Studierenden die Zeit nutzen, um sich untereinander zu organisieren und zu helfen. Auch wenn die Prüfungen aus individualisierten Beispielen bestehen, sind ähnliche Beispiele natürlich unvermeidbar und vier Stunden erwies sich als gute Lösung für die im Präsenzbetrieb für 1,5 Stunden angesetzte Prüfung. Um Unsicherheiten auf Seiten der Studierenden besser begegnen zu können, gab es während der Prüfung einen Chat auf LEARN in dem Fragen zur Prüfung gestellt werden konnten. 

Welche Herausforderungen gab es bei der Umstellung der Prüfung auf das Online-Format?

Natürlich gab es auch für uns einige Herausforderungen in Bezug auf die Umstellung: Ein Teil bezog sich auf die technischen Details und die Herausforderung, dass in der Prüfungssituation alles einwandfrei funktionieren muss. Außerdem haben wir uns aber natürlich auch Gedanken darüber gemacht, ob wir mit der Online-Prüfung vergleichbare Bedingungen für alle Studierenden schaffen können. Dabei spielen nicht zuletzt die technischen Rahmenbedingungen auf Seiten der Studierenden eine entscheidende Rolle. Diese Bedenken waren ein weiterer Grund dafür ein Remote Take-Home-Exam anzubieten, weil dadurch der Einfluss von Problemen mit der Internetverbindung am Arbeitsplatz der Studierenden zumindest gemindert werden kann. 

Ein System auf die Beine zu stellen, das automatisch realistische individualisierte Datenbanken-Instanzen und Aufgaben dazu generiert, ist ein Projekt, das wir zwar ohnehin geplant hatten, allerdings hatten wir nicht damit gerechnet, es so schnell zumindest prototypisch ausrollen zu müssen. Diese Leistung war nur durch signifikanten Einsatz und Mehraufwand von TutorInnen/eAssistants und LV-Leitern zu meistern. Das hatte auch nachteilige Effekte, z. B., dass sich dadurch geplantes Feedback auf Hausübungen für die Studierenden verzögert hat, was wir nun verspätet nachholen müssen, und wo wir auf Verständnis der Studierenden hoffen. Trotzdem konnte die Prüfung selbst wie geplant und – wie wir hoffen – fair durchgeführt werden. Wir planen im Rahmen der Einsichtnahmen, dazu noch zusätzlich von den Studierenden Feedback einzuholen.

Dennoch, auch wenn der Umstellungsaufwand in diesem Semester beträchtlich war, hoffen wir, dass sich der Mehraufwand gelohnt hat, weil wir die jetzt geschaffenen Strukturen auch in Zukunft nutzen werden können. Aus unserer Sicht hat die aktuelle Situation auch ein gewinnbringendes Nachdenken darüber angestoßen, welche Teile der Prüfung auch in Zukunft automatisiert werden können.