Evaluation und Qualitätssicherung von POL-Lernsetttings

Wenn Sie eine Aufgabenstellung möglichst gut auf die Kenntnisse und Kompetenzen der Studierenden ausrichten möchten kann es lohnenswert sein, vorab einen Fragebogen mit Fragen zu Vorkenntnissen und bei Bedarf Kompetenzen in Bezug auf das Themengebiet der Aufgabenstellung zu entwickeln, den die Studierenden zu Beginn eines Lehr-/Lernszenarios ausfüllen müssen. Sie können offene Fragen oder multiple choice Fragen stellen, durchaus auch beides mischen (Angelo & Cross 1988, S. 121). 

Wenn Sie (oder die Studierenden selber) den Eindruck haben, dass die Studierenden sich nicht einig sind, was das Problem in der Aufgabenstellung darstellt, können Sie alle Studierenden bitten, in Einzelarbeit das Problem auf einem Blatt Papier zu notieren. Diese Papiere können gesammelt, vorgelesen und im Anschluss zu einer Synthese zusammengestellt werden. Sind sich die Studierenden grob einig, kann die Gruppe zum nächsten Schritt gehen, kristallisieren sich hingegen zwei oder gar mehr Problemdefinitionen heraus, gilt es diese gegeneinander abzuwägen oder parallel zu bearbeiten und im weiteren Verlauf Hilfsmittel zu definieren, die eine Vereindeutigung der Problemstellung ermöglichen.

Wenn Sie (oder die Studierenden selbst) sich nicht sicher sind, wie ihre Vorkenntnisse bzw. Hypothesen untereinander oder mit den definierten Lernfragen bzw. Learning Outcomes für die Selbststudienphase zusammenhängen, dann kann es hilfreich sein, die Studierende ein Mindmap oder eine kognitive Landkarte erstellen zu lassen, um die Transparenz zu erhöhen und den Zusammenhang zwischen Vorwissen und Learning Outcomes bzw. Lernfragen erkennbar zu machen (Moegling & Schude 2015, S. 14).

Wenn es eine Fülle von neuen Informationen zur Problembearbeitung oder -vertiefung gegeben hat und Sie (oder die Studierenden selbst) nicht sicher sind, ob den Studierenden klar ist, welche davon Detailinformationen sind und welche zentral für die Problembearbeitung bzw. das Problemverständnis, können sie die Studierenden jeweils eine Prüfungsfrage erstellen lassen. Diese Prüfungsfragen können die Studierenden bei Bedarf auch vergleichen und Entscheide für unterschiedliche Themen begründen. Und Sie können feststellen, wie weit die studentischen "Prüfungsfragen" den definierten Zielen des POL entsprechen.

Wenn Sie sich am Ende der Präsentation von den Antworten auf die generierten Lernfragen nicht sicher sind, ob die Studierenden die Informationen verstanden haben bzw. auf die Aufgabenstellung anwenden können, können Sie sie bitten, in einer Minute dasjenige schriftlich festzuhalten, was sie am wenigsten gut verstanden haben ("muddiest point"). Die Ergebnisse können sie einsammeln und klären (lassen), bevor die Studierenden zu weiteren Problembearbeitung bzw. –lösung mit den neuen Informationen übergehen.

Wenn es Ihr Ziel war, dass die Studierenden die erarbeiteten Ergebnisse bzw. Problemlösestrategien auf ähnliche Situationen bzw. Aufgabenstellungen übertragen können ("exemplarisches Lernen"), können Sie sie einen Transferartikel schreiben lassen, d.h. eine Anwendung des Erarbeiteten auf eine ähnliche Aufgabenstellung bzw. Problemsituation. Sie können die Studierenden die Ergebnisse diskutieren lassen (zu zweit bzw. zu dritt oder in der ganzen Gruppe), Sie können sie aber auch einsammeln, in Ruhe zu Hause lesen und zu Beginn der nächsten Sitzung ein Feedback geben (sofern Sie mehrere POL-Zyklen mit der Studierendengruppe haben).

Wenn die Studierenden selbst ansprechen, dass sie mit ihrem Gruppenarbeitsprozess nicht so zufrieden waren, oder Sie als Tutor/in den Eindruck gewonnen haben, dass die Studierenden ihre Zusammenarbeit noch verbessern könnten, können Sie ihnen einen Fragebogen austeilen, der Fragen zur Optimierung der Zusammenarbeit enthält, z.B. zur Arbeitsaufteilung, zur Diskussionskultur oder zum Arbeitstempo (s. z.B. Sengstag 2002, S. 15). Der Vorteil gegenüber einer Thematisierung der Thematik "Gruppenarbeitsprozess" in einer mündlichen Feedbackrunde ist, dass die Studierenden wahrscheinlich ehrlicher sein werden, wenn sie mit der Arbeitsleistung oder dem Verhalten ihrer Kommilitonen/innen nicht zufrieden waren. Sie können die Ergebnisse zusammenstellen und den Studierenden als Verbesserungsvorschläge für folgende gemeinsame Bearbeitungen von Problemaufgaben an die Hand geben. Alternativ können Sie sie auch einen Fragebogen mit den drei Spalten "was sollten wir bei der gemeinsamen Arbeit beibehalten", "was sollten wir nicht mehr tun" und "was sollten wir neu beginnen" ausfüllen lassen ("continue – stop – start"), wenn Sie den Eindruck haben, dass die Studierenden unzufrieden mit ihrem Gruppenarbeitsprozess sind, hieran aber nicht wirklich etwas auszusetzen ist.

Wenn Sie sich nicht sicher sind, ob die Studierenden ihren Problembearbeitungs- bzw. Problemlösungsprozess bewusst gestaltet haben oder eher intuitiv oder sogar im Sinne von «trial und error» vorgegangen sind, können Sie sie am Ende des Problembearbeitungs- bzw. Problemlösungsprozesses bitten, diesen gemeinsam grafisch darzustellen. Dies kann die Basis für eine Diskussion über Verbesserungsmöglichkeiten darstellen, bei heterogenen Problemlösekompetenzen für ein vertieftes Prozessverständnis der weniger Problemlösekompetenten sorgen und die Studierenden dazu anregen, ihre Vorgehensweise bewusster und effektiver zu gestalten.

Wenn die Studierenden die Ergebnisse der gemeinsamen Arbeit Fachpersonen oder Laien erklären können müssen und Sie aufgrund der Beobachtung der Diskussionen in der Gruppe nicht ganz sicher sind, ob sie das auch wirklich können, können Sie ihnen am Ende des Problembearbeitungs- bzw. Problemlösungsprozesses die Aufgabe geben, das Erarbeitete einmal für Fachkollegen/innen und einmal für Laien zu erklären ("directed paraphrasing"). Wenn die Studierenden eine ähnliche Aufgabenstellung wahrscheinlich nicht mehr bearbeiten werden, aber das Erarbeitete erklären können müssen, können Sie sie alleine schriftlich arbeiten lassen, die Ergebnisse einsammeln und hierzu ein individuelles Feedback geben. Wenn es hingegen eher darum geht, allgemein Erklärungskompetenzen gegenüber Fachkollegen/innen und Laien aufzubauen, können Sie sie auch in Kleingruppen (zu zweit oder zu dritt) arbeiten und die Ergebnisse dann im Plenum austauschen lassen.

Wenn Sie (oder die Studierenden selber) den Eindruck haben, dass die Studierenden in der Selbststudienzeit Probleme haben, z.B. nicht in ausreichendem Mass suffiziente Informationsquellen finden, sehr viel Zeit für das Finden von Informationen benötigen, sie die Informationen nicht angemessen zusammenfassen können oder ihnen noch Recherchetechniken fehlen, können Sie sie bitten, ihr Lernverhalten zu reflektieren. Konkret können Sie sie bitten zu notieren, was ihnen beim Lernen und Informationen beschaffen besonders hilft, was sie behindert und welche Vorschläge sie haben, um ihr Lern- oder Rechercheprocedere zu optimieren. 

Merkmale guter Problemlöser: «1. Sie investieren Zeit in das Sammeln von Informationen und das Eingrenzen eines Problems. 2. Sie gehen sowohl algorithmisch als auch heuristisch an Probleme heran. 3. Sie überwachen ihren eigenen Problemlöseprozess und reflektieren die Effektivität der eingesetzten Methoden. 4. Sie legen eher Wert auf Akkuratesse als auf Geschwindigkeit. 5. Sie nutzen externe Repräsentationsformen (z.B. Stift und Papier) beim Problemlösen. 6. Sie sind organisiert und systematisieren Informationen. 7. Sie sind flexibel und halten sich verschiedene Handlungsoptionen offen bzw. betrachten ein Problem aus verschiedenen Perspektiven. 8. Sie ziehen Hintergrundwissen hinzu und setzten dieses Wissen kritisch zur Beurteilung eines Problems und dessen Lösung ein. 9. Sie gehen gerne auf mehrdeutige Situationen ein, werden durch Abwechslung erfreut und können gut mit Stress umgehen. 10. Sie wählen eher einen übergreifenden Lösungsansatz für ein Problem anstatt verschiedene einzelne Lösungsansätze zusammenzuschustern.» (Zumbach & Jekel 2019)

Wenn eine Problemstellung für POL verwendet wird, hat sich im Vorfeld jemand Gedanken darüber gemacht, welche Kompetenzen bei der Bearbeitung aufgebaut werden sollen und damit auch, welche Lösungswege und Lösungen möglich und welche davon besonders wahrscheinlich sind. Wenn derartige Lösungswege und Lösungen schriftlich zur Verfügung stehen, können die Studierenden gemeinsam mit dem Tutor/der Tutorin ihre Vorgehensweise und ihre Ergebnisse mit diesen vergleichen und ihre Abweichungen als Innovationen oder Irrwege bewerten.

Wenn die Tutorin bzw. der Tutor Experte/in im Fachgebiet ist, kann sie oder er aus der eigenen Erfahrung und dem eigenen Wissen Feedback zum Prozess und Ergebnis geben. Das setzt voraus, den Arbeitsprozess genau zu beobachten, bei auffälligen oder ungewöhnlichen Vorgehensweisen oder Hypothesen Notizen zu machen und die Studierenden im Anschluss darauf hinzuweisen.

Wenn der Tutor/die Tutorin nicht ausgewiesene Fachperson im Bereich der Problemstellung ist, kann es lohnend sein, eine Expertin/einen Experten einzuladen und diese Person den Studierenden im Anschluss Feedback zum Prozess und zum Ergebnis geben zu lassen.
Das ermöglicht den Studierenden nicht nur ein Feedback einer aussenstehenden Person, sondern wertet für sie auch ihre Arbeit mit POL massiv auf.

Wenn eine andere POL-Gruppe den Arbeitsprozess beobachtet und der arbeitenden Gruppe anschliessend eine Rückmeldung gibt, kann das ebenfalls bereichernd sein. Eine erfahrenere POL-Gruppe wird diverse Verbesserungsvorschläge zum Procedere wie zum Ergebnis haben, eine weniger erfahrene hingegen auf eventuell „eingeschliffene“ Vorgehensweisen oder „blinde Flecken“ einer Gruppe hinweisen können.

Die Studierenden können ihre Vorgehensweise auf Video aufzeichnen und sie anschliessend im Selbststudium anhand einer Checkliste mit Qualitätskriterien für Prozess und Ergebnis selbst beurteilen. Das ist wesentlich präziser als ein mündliches Feedback am Ende der Sitzung und durch die (vorgegebene) Checkliste auch objektiver. Es eignet sich also hervorragend für eine Prüfungsvorbereitung, sofern die abschliessende Prüfung zum POL auch eine POL-Sitzung sein soll.
Die Checkliste kann von der Studienleitung vorgegeben, aber auch von den Studierenden mit Unterstützung des Tutors/der Tutorin selbst erarbeitet sein.

Was Studierende wirklich gelernt haben, zeigt sich insbesondere in der abschliessenden Prüfung. Bei der Auswertung der Prüfungsergebnisse lässt sich feststellen, was die Studierenden mehrheitlich bereits gut beherrschen und wo für viele noch Lücken oder Kompetenzmängel bestehen. Daraus lassen sich Rückschlüsse darauf ziehen, wo die Studierenden mehr oder weniger unterstützt werden sollten, ob die Auswahl der Problemstellungen sinnvoll und das gewählte POL-Procedere hinreichend verstanden wurde.

Etliche der Hilfsmittel für ein schnelles Assessment von POL-Prozessen eignen sich ebenfalls für die Prozessevaluation, insbesondere die Reflexion des Lernverhaltens seitens der Studierenden oder „continue – stop – start“.