Assessment: Möglichkeiten für Feedback und Bewertung im Rahmen von POL

Bei der summativen Bewertung von Leistungen der Studierenden im Rahmen von POL stehen wir vor einer grossen Herausforderung, denn:

1. Unsere Studiengänge schliessen in der Regel mit einer summativen Beurteilung ab, d.h. wir setzen einen „Minimalstandard“ an Anforderungen, den die Studierenden am Ende ihres Studiums erfüllen müssen, damit wir sie guten Gewissens als fachlich qualifiziert in die Gesellschaft entlassen können. Hierfür vergeben wir Punkte oder Noten für ihre Leistungen, und wenn Studierende den „Minimalstandard“ nicht erfüllen, müssen sie so lange weiterstudieren, bis das der Fall ist.
   Punkte oder Noten zu geben setzt aber voraus, dass wir entweder richtige und falsche Lösungen bzw. Antworten der Studierenden zur Verfügung haben oder aber, dass wir über suffiziente Qualitätskriterien für die Bewertung einer studentischen Leistung verfügen, die wir aufgrund der Komplexität der Aufgabenstellung bei POL nicht mehr als „richtig“ oder „falsch“ bewerten können.
2. Viele Studiengänge weisen sehr viele summative Prüfungen auf, d.h. mit Punkten oder Noten wird nicht nur die Abschlussprüfung bewertet, sondern auch einzelne Module oder sogar Lehrveranstaltungen. Damit setzen wir ein Signal gegenüber den Studierenden: „was geprüft wird ist wichtig, was nicht geprüft wird hingegen nicht“. Wenn wir POL also gar nicht oder „nur formativ“ bewerten, werden die Studierenden es als nicht relevant wahrnehmen und sich dementsprechend auch nicht notwendigerweise bei der Arbeit mit POL engagieren – es ist ja nicht entscheidend für ihren Studienerfolg, also offensichtlich auch nicht für die fachliche Qualifikation.
3. Noten und Punkte schaden der Motivation zum lebenslangen Lernen: wenn ein Student/eine Studentin eine gute Note bekommen hat, ist damit das Signal gesetzt, dass sie oder er die Anforderungen erfüllt. Wer eine gute Note bekommt, „beherrscht“ das Bewertete – warum sollte er oder sie noch weiter daran arbeiten? Wenn er oder sie aber eine schlechte oder gar ungenügende Note bekommt, frustriert das und schadet der Selbstwirksamkeitserfahrung, so dass ggf. die Motivation leidet, sich weiter mit der Thematik oder dem Problemlösen als Prozess zu beschäftigen (aufgrund des Gedankens „das kann ich sowieso nicht“).

POL sollte also in unseren Studiengängen geprüft und auch summativ bewertet werden (idealiter auch in der Abschlussprüfung, wenn das nicht möglich ist zumindest auf Modul- oder im Notfall Lehrveranstaltungsebene). Und zwar in Bezug auf alle gesetzten Learning Outcomes, auch überfachliche Kompetenzen wie Teammanagement oder Selbstmanagement.

Es kann ein POL-Zyklus von Fachpersonen beobachtet und bewertet werden, möglich ist aber auch eine Problemaufgabe im Rahmen einer Multiple-Choice-Prüfung mit alternativen Lösungswegen und Lösungen als Auswahlmöglichkeiten oder eine schriftliche Prüfung, in der die Studierenden eine Problemaufgabe bearbeiten und hierbei sowohl den Lösungsweg wie auch die Lösung dokumentieren. Ebenfalls möglich ist ein Lernportfolio als Assessmentmethode.
Wichtig für das lebenslange Lernen ist, dass die Studierenden nicht nur von Fachpersonen beurteilt werden, sondern auch eine Selbsteinschätzung abgeben, die dann ebenfalls beurteilt wird. So ist sichergestellt, dass die Studierenden nicht nur Probleme fachgerecht lösen, sondern die Qualität ihrer Arbeit wie ihrer Ergebnisse auch angemessen einschätzen können, wenn nach Ende des Studiums keine Fachperson mehr Rückmeldung dazu gibt, sondern die Studierenden beim Problemlösen auf sich allein gestellt sind.

Bei einer summativen POL-Prüfung sollten also möglichst alle Studierenden gut bestehen – das ist unser Ziel. Voraussetzung hierfür ist, dass die Beurteilungskriterien von Beginn an für die Studierenden transparent sind, dass für die Studierenden klar ersichtlich ist, was sie üben und tun müssen, um die Kompetenzen aufbauen können, die zu einem guten Bestehen der Prüfung führen, und dass sie im Vorfeld hinreichend Übungsmöglichkeiten und Feedback erhalten, um diese Kompetenzen auch wirklich aufbauen zu können.

Auf der Seite zur Prozessbegleitung wird deutlich, dass eine Lehrperson als Tutor/in mehrheitlich Verbesserungsvorschläge zur Arbeit der Studierenden gibt, d.h. ein „feed-forward“. Dieses sollte sich schon an den Prüfungsanforderungen für POL orientieren, so dass sich die Studierenden beim Erlernen von und Arbeiten mit POL bereits „automatisch“ auf die Prüfung vorbereiten.

Qualitätskriterien

Minimal ist für ein Erfolg versprechendes Arbeiten mit POL, d.h. ein gelingendes Problemlösen folgendes zu erwarten:

• Eine logische korrekte Umsetzung und auch explizite Begründung des POL-Prozesses.
  Es reicht nicht, wenn eine Studentin oder ein Student einen POL-Prozess korrekt umsetzen kann – er oder sie muss auch erklären können, warum welcher Schritt im Prozess überhaupt und gerade an dieser Stelle erforderlich ist. Nur aufgrund dessen können die Prüfenden davon ausgehen, dass der Student oder die Studentin den POL-Prozess nicht nur in der Prüfung korrekt umsetzt, weil das eben erwartet wird, sondern das auch im späteren Berufsleben tun wird, anstatt beim Problemlösen wieder auf das viel einfachere „trial and error“ zu wechseln.
• Eine fachlich suffiziente und zur Problemstellung passende Informationssuche bzw. -auswahl.
  Die Studentin bzw. der Student muss herausfinden können, welche Informationen ihm oder ihr fehlen, und diese in hinreichender Qualität und Menge beschaffen. Was die Menge angeht, ist nicht nur ein „zu wenig“ nicht ausreichend, sondern auch ein „zu viel“, weil das im späteren Arbeitsalltag zu ineffizientem Arbeiten führen wird.
• Einen Abschluss des Problemlöseprozesses in einer dem späteren Berufsalltag angemessenen Zeit.
  Wichtig in Bezug auf die Effizienz ist auch, dass Studierende am Studienabschluss beim Problemlösen annähernd so schnell sein müssen, wie dies im späteren Berufsleben erforderlich ist. Wer z.B. beim Nachtdienst auf der Notaufnahme zu viel Zeit braucht, um herauszufinden welches Problem ein Patient hat und wie man ihm helfen kann, setzt ggf. ein Leben aufs Spiel. Oder wer im Labor zu lange braucht, um die Qualität einer Probe zu beurteilen, dem ist die Probe ggf. schon verdorben, bevor er damit fertig ist. 
• Eine Bewertung der Qualität der erarbeiteten Lösung.
  Studierende müssen imstande sein, nicht nur eine Lösung zu erarbeiten, sondern auch zu bewerten, ob diese Lösung jetzt hinreichend ist, um wirklich umgesetzt zu werden. Sonst können sie im späteren Berufsleben ggf. zwar Lösungen erarbeiten, werden sich aber nicht trauen, diese umzusetzen, da sie sich nicht im Klaren sind, ob sie „gut genug“ sind.
• Eine Bewertung der Qualität des eigenen Vorgehens.
  Damit Lösungen umgesetzt werden können, ist nicht nur wichtig, dass Studierende sich der Qualität ihrer Lösung sicher sind, sondern auch, dass sie sich sicher sind, beim Problemlösen nichts Wichtiges vergessen zu haben. Sie müssen also auch ihr Vorgehen angemessen bewerten können.
• Ein sinnvoller Umgang mit typischen Herausforderungen beim Problemlösen.
  Mit demjenigen, was die Studierenden im späteren Problemlösen im Berufsleben an typischen erschwerenden Bedingungen erwartet, sollten sie zu Beginn ihrer Berufstätigkeit umgehen können.
  Zum Beispiel: es fehlt die Zeit oder es gibt keine Möglichkeit, um noch zusätzliche Informationen zu beschaffen, der Student/die Studentin muss das Problem mit den Informationen lösen, die sie oder er gerade zur Verfügung hat. In dem Fall wird man eine „closed-book“-Prüfung machen, d.h. den Studierenden in der Prüfung keine Informationsbeschaffungsphase mehr geben.
  Oder: es fehlt die Zeit oder die Möglichkeit, sich mit Kollegen/innen rückzusprechen oder um Rat zu fragen. In dem Fall wird man die Studierenden einen POL-Fall in der Prüfung allein bearbeiten lassen.
  Oder: es gibt Kollegen/innen, die Probleme nicht systematisch zu lösen imstande oder gewillt sind. In dem Fall wird man die Studierenden den Nutzen und Zweck der einzelnen Schritte jeweils begründen lassen.

Zu diesen Minimalkriterien kommen je nachdem, welche zusätzlichen Learning Outcomes mit POL erreicht werden sollen, zusätzliche hinzu.

Punkte oder eine Note zu vergeben ist nur das Hilfsmittel, um den Studierenden die Prüfungs- und damit Qualifikationsrelevanz von POL aufzuzeigen und sicherzustellen, dass keine Studierenden aus dem Studium entlassen werden, die im Problemlösen nicht hinreichend qualifiziert sind. Viel wichtiger für die Studierenden ist auch bei einer abschliessenden Prüfung das formative Feedback, d.h. eine differenzierte Rückmeldung der Experten/innen zum Vorgehen der Studierenden inklusive Vorschlägen für die weitere Arbeit.

Es gilt gut abzuwägen, ob, in welcher Funktion und mit welchen Aktivitäten Sie als Lehrperson bei der Arbeit der Studierenden anwesend sein sollten. Hattie hat zwar in seiner Studie nachweisen können, dass Feedback von Lehrpersonen einen positiven Effekt auf Lernprozesse hat (Hattie 2013, S. 206ff.). Der Effekt der Selbsteinschätzung von Lernfortschritten ist aber noch höher. Studierende mit noch geringen Fähigkeiten zur Selbsteinschätzung von Lernfortschritten und geringen Problemlösekompetenzen benötigen Ihr Feedback als Lehrperson. In der Regel ist damit auch Ihre Anwesenheit bei der Arbeit der Studierenden erforderlich.

Schon Ihre Anwesenheit hat aber immer auch Nachteile: ein menschliches Gehirn macht unter Beobachtung mehr Fehler (Beck 2017, S. 72ff.). Gerade in Institutionen, in denen Lernen mit einer Bewertung seitens der Lehrpersonen verbunden ist, die zumindest teilweise über den Erfolg oder Misserfolg von Lernenden beim Absolvieren von Lerneinheiten entscheidet, stehen Lernende bei der Anwesenheit von Lehrenden unter Leistungsdruck und werden so weniger unbefangen mitarbeiten.

Und auch Feedback kann negative Folgen haben. Es gibt es zwar viele und gute Regeln für produktives und wirksames Feedback (z.B. Schulz von Thun 1981 oder Rosenberg 2001). Doch es ist erwiesen, dass die Wirkung von Feedback nicht nur von der Qualität des gegebenen Feedbacks abhängt, sondern auch von vielen anderen Faktoren, unter anderem dem Vorwissen, den Kompetenzen und Erfahrungen der Feedbacknehmenden (Narciss 2014). Sie können Ihr Feedback also noch so „nach allen Regeln der Kunst“ formulieren – Lernende können es trotzdem negativ interpretieren oder sich von ihm beeinträchtigen lassen.

Damit möchte ich Ihnen keineswegs von einer Anwesenheit als Tutor/in und von Feedback abraten. Ich möchte Ihnen lediglich ans Herz legen, genau zu bedenken, in welcher Funktion Sie anwesend sein und Feedback geben möchten. Und wenn Sie keine klare und für die konkrete Gruppe Lernender gewinnbringende Funktion Ihrer Anwesenheit und Ihres Feedbacks benennen können auch den Mut zu haben, die Lernenden zumindest teilweise allein arbeiten zu lassen.