6.1 Leistungen beurteilen und Feedback geben

Die individuelle Bezugsnorm (auch ipsative  oder personenbezogene Bezugsnorm genannt) findet ihre Anwendung, wenn eine Studierendenleistung im Vergleich zu einer früheren Leistung des/der selben Studierenden beurteilt wird. Die Leistung wird daher am persönlichen Leistungsstand gemessen und ermöglicht die Förderung jede/s/r einzelnen Studierenden ohne seine/ihre Leistung mit anderen Studierenden zu vergleichen.

Beispiel: Ein/e Studierende/r hält zwei Präsentationen mit zeitlichem Abstand und es werden die Präsentationsskills bewertet (die Leistungen beider Präsentationen werden miteinander verglichen).

Vorteile

• Lernerzentrierte Herangehensweise an Beurteilungen
• Die individuellen Lernzuwächse werden beurteilt und es kann eine individuelle Förderung erfolgen
• Feedback kann seinen Nutzen voll entfalten, weil die individuelle Kompetenzentwicklung Schritt für Schritt verfolgt wird
• Besonders für schwächere Studierende kann ein ipsativer Vergleich motivierend sein

Nachteile

• Unfairness-Empfinden von stärkeren Studierenden, deren Leistungssprünge wahrscheinlich nicht so groß sein können wie bei schwächeren Studierenden, und die daher weniger große Chancen auf sehr gute Noten haben
• Für Lehrende zeitaufwändig
• Keine gängige Praxis im Universitätssystem; am ehesten realisiert in Portfolio-Ansätzen

Die soziale Bezugsnorm setzt eine Studierendenleistung zu anderen Studierendenleistungen in Beziehung. Die Leistungen einer Lerngruppe werden daher verglichen. Die Anwendung der sozialen Bezugsnorm resultiert im "Grading on a Curve".

Beispiel: Eine Studierendengruppe hält eine gemeinsame Präsentation. Sie bewerten jeden Präsentationsabschnitt einzeln und im Vergleich zur Leistung der anderen Studierenden.

Vorteile 

• Das Anwenden der sozialen Bezugsnorm erlaubt es, die Leistungen von Studierenden untereinander zu vergleichen
• Die soziale Bezugsnorm gibt keine Leistungsniveaus vor. Beurteilungen bewegen sich ausschließlich innerhalb dessen, was eine Gruppe von Studierenden tatsächlich leisten konnte

Nachteile

• Beurteilungen nach der sozialen Bezugsnorm zeigen auf, wo Leistungen Studierender sich im Vergleich zu ihren Peers befinden und nicht, wo sie sich im Verhältnis zu spezifischen Lernzielen (z. B. einer Lehrveranstaltung) befinden
• Die Beurteilung von Studierenden wird in Abhängigkeit der auftretenden Leistungen in der Gesamtgruppe festgelegt. Die Note eines/einer Studierenden hängt also von den Leistungen der Studienkolleg/inn/en ab
• Gruppen, die ein unterschiedliches Leistungslevel aufweisen, erreichen bei Anwendung dieser Bezugsnorm die gleiche Notenverteilung. Es kann also passieren, dass schwächere Leistungen mit denselben Noten versehen werden wie stärkere Leistungen in einer anderen Vergleichsgruppe, in der das Gesamtniveau höher ist
• Bei der Erteilung eines Arbeitsauftrages können den Studierenden keine objektiven Beurteilungskriterien mitgeteilt werden
• Ergibt sich eine Gesamtbeurteilung aus mehreren Teilleistungen innerhalb einer Lehrveranstaltung, können Studierende eine Beurteilung der Teilleistungen erst am Ende der Lehrveranstaltung erhalten
• Leistungsbeurteilungen, die mit der sozialen Bezugsnormen operieren, können keine Aussage darüber treffen, ob sich ein/e Studierende/r im Vergleich zu Vorleistungen verbessert/verschlechtert hat

Bei der kriterialen Bezugsnorm werden Studierendenleistungen anhand festgelegter Beurteilungskriterien bewertet.

Beispiel: Der Lehrende bewertet die Präsentationsskills der Studierenden einzeln und nach einer vorbereiteten Rubric.

Vorteile

• Die Beurteilungskriterien werden im Normalfall bei der Erstellung des Assessments entwickelt und können Studierenden daher bei der Erteilung des Arbeitsauftrages mitgeteilt werden
• Leistungen werden unabhängig voneinander beurteilt. Es haben weder die Vorleistungen eines/einer Studierenden noch die Leistungen anderer Einfluss auf die Note eines/einer Studierenden
• Studierende können eine Beurteilung im Sinne einer Note direkt nach der Korrektur der Leistung bekommen und erhalten Aufschluss darüber, ob und wie viele Beurteilungskriterien sie erfüllt haben

Nachteile

• Leistungsbeurteilungen, die mit kriterialen Bezugsnormen operieren, können keine Aussage darüber treffen, ob sich ein/e Studierende/r im Vergleich zu Vorleistungen verbessert/ verschlechtert hat
• Mit der Festlegung von Beurteilungskriterien legen Sie als Lehrende/r die Messlatte für Studierende an. Legen Sie Kriterien an, die zu leicht oder zu schwierig für die Gruppe sind, kann dies dazu führen, dass die Noten, die Leistungsüberprüfungen hervorbringen, ausschließlich sehr gut oder ausschließlich sehr schlecht ausfallen

Beurteilungskriterien sind operationalisierte Kategorien von Fähigkeiten und Fertigkeiten, die bei einer Leistungsbeurteilung demonstriert werden sollen. In der Beurteilung werden Leistungen anhand von Kriterien überprüft und reflektiert. Diese Kriterien sollten bereits vor einer Leistungsüberprüfung erstellt werden, um die Bewertungsmaßstäbe klar festzulegen. 

Kriterien für eine Leistungsbeurteilung sollten immer im Zusammenhang mit den Learning Outcomes Ihrer Lehrveranstaltung stehen. Zusätzlich können auch generalistischere Beurteilungskriterien eine Rolle spielen, z. B. jene, die sich auf die Learning Outcomes des gesamten Studiums beziehen.

• Vor einer Leistungsüberprüfung erstellte Beurteilungskriterien sind ein guter Weg, Studierenden deutlich zu machen, was sie im Rahmen einer Lehrveranstaltung lernen können
• Sie unterstützen außerdem eine faire Beurteilungspraxis
• Bei mehreren Lehrveranstaltungen mit gleichen Inhalten und Learning Goals (innerhalb eines Planpunktes), die aber von unterschiedlichen Lehrenden unterrichtet werden, dienen Beurteilungskriterien dazu, die Erwartungen unter den Lehrenden zu klären und ähnliche Beurteilungskriterien zu formulieren bzw. ähnliche Anforderungen zu haben (faire Beurteilungspraxis)
• Die Offenlegung von Kriterien erleichtert die Betreuung und die Beurteilung und spart zudem Zeit

Die folgenden Vorschläge dienen als Anregung, sich mit Beurteilungskriterien schon vorab auseinanderzusetzen:

• Legen Sie Beurteilungskriterien schon im Vorfeld fest, idealerweise gleichzeitig mit der Erstellung eines Assignments 
  Beispiel: bei einer Prüfung bspw. im Rahmen der Erstellung von Musterlösungen
• Bei geschlossenen Aufgaben und Kurzantwort-Aufgaben können Sie die Beurteilungskriterien meist schnell festlegen 
  Beispiel: Bei einer Prüfung z. B. das Kriterium angekreuzt/nicht angekreuzt oder für jeden richtig zugeordneten Begriff wird ein Punkt vergeben. 
• Legen Sie bei komplexeren offenen Aufgaben mehrere voneinander unterscheidbare Kriterien fest, anhand derer Sie die Antwort beurteilen (analytische Beurteilung). 
  Beispiel: Eine offene Aufgabe oder Seminararbeit, die von Studierenden einen differenzierten Vergleich zweier Unternehmensmodelle verlangt, kann beurteilt werden hinsichtlich: Grad der Problemerfassung, Fähigkeit Zusammenhänge aufzuzeigen, Ausmaß an Lösungsorientiertheit 
• Es ist auch möglich Kriterien mittels Rubrics festzulegen und aufzuschlüsseln

Um Beurteilungskriterien für eine Leistungsbeurteilung zu formulieren, gehen Sie folgendermaßen vor:

• Learning Outcomes der LV heranziehen: Gehen Sie von den Learning Outcomes Ihrer Lehrveranstaltung aus, die in Ihrer gewählten Assessmentmethode auch überprüft werden können.
  Check:  Ist die Assignmentvariante eine geeignete Form, um die Learning Outcomes meiner LV zu überprüfen? Wenn ja, welche?
• Beurteilungskriterien für das Assignment ableiten: Operationalisieren Sie alle auf die gewählte Assessmentmethode anwendbaren Learning Outcomes Ihrer Lehrveranstaltung, die Sie in dieser Leistungsbeurteilung bewerten wollen: 
  Check: Kann ich anhand der gewählten Kriterien beurteilen, ob Studierende bestimmte Learning Outcomes erreicht haben?

1. Beispiel:

2. Beispiel:

3. Beispiel:

Eine Möglichkeit Beurteilungskriterien anzuwenden besteht darin, sogenannte Rubrics zu formulieren: Rubrics kombinieren Beurteilungskriterien mit Abstufungen der Erreichung dieser Kriterien. Nähere Informationen über die Erstellung und Anwendung von Rubrics finden Sie hier.
Um Kriterien offenzulegen, können Sie vielfältige und unterschiedliche Settings und Materialien nutzen: Von Sprechstundengesprächen und Seminarsitzungen über Leitfäden, "Fahrpläne" und Style Sheets bis hin zu Handouts und Kriterienkatalogen. 

Nähere Informationen über das "Formulieren von Learning Outcomes" finden Sie hier.

Rubrics sind eine Möglichkeit Beurteilungskriterien zu formulieren und zu strukturieren. Konkret sind Rubrics daher Schemata, anhand derer eine Leistung (z. B. eine Abschlussarbeit, eine Präsentation) beurteilt werden kann. Dazu werden im Vorfeld Kriterien definiert, die für das Erreichen der definierten Ziele notwendig sind. Eine Rubric umfasst daher spezifische Erwartungen Ihrerseits hinsichtlich einer Leistung oder Aufgabe. Dabei werden alle Kriterien einer Aufgabe einzeln und detailliert beschrieben. Eine Rubric steht außerdem in Zusammenhang mit den Learning Outcomes und hilft daher sicherzustellen, dass die Beurteilung der Leistung auch mit den vorher formulierten Learning Outcomes in Zusammenhang steht.

Insgesamt betrachtet stellen Rubrics eine Orientierungshilfe für Sie als Beurteiler/in dar, wobei bereits im Vorfeld entschieden wird, welche Kriterien einer Leistung für die Beurteilung herangezogen werden. 

In der Praxis werden oftmals allgemein gehaltene Rubrics, die zur Methode der Leistungsüberprüfung, zu dem Fach und dem Kontext passen, herangezogen und für den eigenen Zweck adaptiert.

Rubrics bestehen aus drei Elementen:

1. Kriterien, anhand derer das Erreichen der definierten Ziele beurteilt werden kann (Bsp. siehe Abb. 4: Kriterium für eine Seminararbeit: Formales & Sprache)
2. Unterschiedliche Niveaus, die die Studierenden erreichen können (Bsp. siehe Abb.4: Skala bei der 0-4 Punkte erreicht werden können)
3. Eine Beschreibung für jedes Niveau, anhand dessen die studentische Leistung beurteilt werden kann (Bsp. siehe Abb. 4: Ausformulierung jeder Niveaustufe: Was muss in Bezug auf den Gesamtaufbau in der Seminararbeit vorhanden sein um 4, 3, 2, 1 oder 0 Punkte zu erhalten?)

Abb. 4: Ausschnitt einer Beispiel-Rubric für Seminararbeiten

(die Word-Vorlage zur vollständigen Beispiel-Rubric finden Sie hier)

1. Schritt: Identifizieren Sie die Beurteilungsdimensionen unter Berücksichtigung der Learning Outcomes, die Sie für die Lehrveranstaltung/Aufgabe/Planpunkt festgelegt haben. Legen Sie fest, welche Kriterien die jeweilige Dimension beschreiben. 

2. Schritt: Legen Sie die Beurteilungsskala fest: Beschreiben Sie die Niveaustufen und definieren Sie die Anzahl der Abstufungen in der Skala. Beispiel für eine vierstufige Skala: "übertrifft die Erwartungen", "trifft die Erwartungen", "trifft die Erwartungen teilweise“ oder "unter den Erwartungen liegend“.

3. Schritt: Beschreiben Sie nun für jedes Kriterium, wie die Leistung in jeder Niveaustufe auszusehen hat. Beschreiben Sie dabei detailliert, was der/die Studierende erfüllen muss, um auf dieser Niveaustufe eingestuft zu werden. In der Ausformulierung jeder Stufe kann die Bloom'sche Taxonomie (vgl. Learning Outcomes) hilfreich sein.

1. Beispiel

Abb. 5: Rubric einer vierstufigen Skala

2. Beispiel

Abb. 6: Ausschnitt Assessment Criteria for Bachelor's Theses, University of Oulu

• Qualitätsverbesserung durch strukturiertes Feedback: Sie können in der Rubric die Beurteilungsstufe oder Punktzahl kennzeichnen, so dass Studierende die generelle Einschätzung ihrer Leistung zu den jeweiligen Kriterien ablesen können
• Klare Beurteilungskriterien: Sie können sich bei der Adaption oder Erstellung einer Rubric Ihrer Kriterien für die Beurteilung der studentischen Leistung bewusst werden
• Reduzierte Subjektivität: Sie können sich bei Arbeiten ihrer Studierenden an den gleichen Kriterien orientieren; auch Zweitkorrigierende können danach vorgehen
• Transparente Anforderungen: Studierende kennen Ihre Anforderungen von Beginn an und sind dadurch motivierter, sie zu erfüllen
• Präzises Feedback: Studierende erhalten auf einen Blick eine klare Einschätzung zu den Stärken und Schwächen ihrer Leistung
• Verwendbar für Self-Assessment und Peer-Assessment: Studierende können anhand der Rubric ihre eigene Arbeit bereits im Vorfeld einschätzen oder von Peers eine Einschätzung anhand der Rubric erhalten
• Verwendbar für unterschiedliche Methoden der Leistungsüberprüfung: Sie können Rubrics für Seminararbeiten, Essays, Posterpräsentationen, Einzel- und Gruppenpräsentationen, Gruppenarbeiten und anderes verwenden

• Gesamtleistung vs. Teilleistung: Wenn Sie für die einzelnen Beurteilungsdimensionen Punkte vergeben, kann es vorkommen, dass die Beurteilung der einzelnen Dimensionen in Summe schlechter ausfällt als es die Gesamtleistung tatsächlich ist
• Ausschließliche Betrachtung von Kriterien die in der Rubric dargelegt sind: Wie bei allen schematischen Darstellungen besteht die Gefahr, dass nur die Anforderungen bzw. Kriterien betrachtet werden, die auch in der Rubric angeführt sind. Dies erschwert es, Aspekte in der Beurteilung zu berücksichtigen, die nicht darin vorkommen
• Fehlen konkreter Hinweise für die Studierenden: Anhand einer Rubric erhalten die Studierenden zwar eine allgemeine Einschätzung zu den Stärken und Schwächen ihrer Arbeit. Daraus allein wird jedoch noch nicht ersichtlich, was beispielhaft besonders gut oder verbesserungswürdig war. Durch den Einsatz anderer Feedbackmethoden können Sie Studierenden konkretere Anhaltspunkte liefern, die für künftige Arbeiten berücksichtigt werden können
• Hoher Zeitaufwand bei Neuerstellung: Die eigenständige Erstellung von Rubrics ist mit einem gewissen Zeitaufwand verbunden. Alternativ können Sie bestehende Rubrics verwenden und für Ihre Zwecke adaptieren

• Überlegen Sie sich auch die Gesamtleistung als Dimension zu beurteilen: "Gesamtleistung" oder "overall feedback" oder "Gesamtkoherenz"
• Nutzen Sie die Onlineplattform IRubrics zur Erstellung Ihrer eigenen Rubric

1. Skizzieren Sie alle in den Aufgaben verlangten Elemente, Begriffe, Rechenwege etc.
2. Führen Sie an, wie die Aufgabe insgesamt bzw. Teilaufgaben bei der Beurteilung gewichtet werden.
3. Erstellen Sie die Musterlösung erst einige Tage nach Fertigstellung der Prüfungsaufgabe. Durch die zeitliche Distanz werden Ihnen Ungereimtheiten in der Angabe bzw. Aufgabenstellung eher auffallen.

• Korrekturlesen bzw. -rechnen: Eventuelle Ungereimtheiten und Konstruktionsmängel bzw. Schwierigkeiten fallen Ihnen beim Lösen der Aufgaben auf und können rechtzeitig behoben werden (z. B. unrealistische Zahlen, unzureichende Angaben, zu lange Bearbeitungszeit).
• Musterlösungen geben Richtlinien für verschiedene Korrigierende vor: Indem Sie genaue Angaben über den erwarteten Inhalt und die Art und Weise der Bewertung festhalten, schaffen Sie die Basis dafür, dass alle korrigierenden Personen nach denselben Richtlinien vorgehen können.
• Studierende korrigieren die Aufgaben: Musterlösungen können als Grundlage für Peer-Assessment oder Self-Assessment genutzt werden (siehe unten).
• Arbeitsunterlage für Prüfungseinsichten: Bei der späteren Prüfungseinsicht können Sie die Musterlösung als Argumentationshilfe heranziehen, um Studierenden die Lösungsschritte und Zielvorstellungen transparent zu machen.