PMC
DISKUSSION
Diese Zahlen legen nahe, dass die beobachtete Tendenz der Dozenten, die OSCE-Noten aufzublähen13 , für die UH nicht zu gelten scheint. Es wird angenommen, dass das Fehlen einer Korrelation darauf zurückzuführen ist, dass entweder einige Studierende in den OSCEs besser abschneiden als in der MPP3-Prüfung oder dass einige Studierende in der MPP3-Prüfung besser abschneiden als in den OSCEs.
Die Analyse des Korrelationsdiagramms (Abbildung 1) zeigt Beispiele für beide möglichen Szenarien. Studierende, deren Ergebnisse signifikant über der Trendlinie lagen, schnitten in ihren MPP3-Prüfungen besser ab als in ihren OSCEs; diejenigen, die unter der Trendlinie lagen, schnitten in ihren OSCEs besser ab als in ihrer MPP3-Prüfung. Diese Unterschiede sind möglicherweise auf die unterschiedlichen Fähigkeiten zurückzuführen, die in den OSCEs und der MPP3-Prüfung geprüft werden sollen.
Die MPP3-Prüfung ist eine traditionelle schriftliche Prüfung, die aus einer Reihe von Multiple-Choice-Fragen und Aufsätzen besteht. Sie prüft in erster Linie die untersten Kompetenzstufen der Millerschen Pyramide – „weiß“ und „weiß wie“. OSCEs können zwar auch zur Beurteilung der beiden unteren Ebenen der Pyramide eingesetzt werden,16 ihre Stärke als Beurteilungsinstrument liegt jedoch darin, dass sie auch die höheren Ebenen („zeigt, wie“ und bis zu einem gewissen Grad „tut“) beurteilen können, die für die Gewinnung eines Verständnisses der tatsächlichen klinischen Kompetenz am wichtigsten sind. Obwohl es Belege für die Annahme gibt, dass eine solide Wissensbasis die klinische Kompetenz verbessert,16 sollte eine Korrelation zwischen der MPP3-Prüfung und der OSCE-Leistung der Stufe 3 nicht erwartet werden, da die Beurteilungen zwei unterschiedliche Fähigkeiten messen.
Das Cambridge-Modell17 zur Beurteilung von Kompetenz erweitert das Millersche Kompetenzmodell, indem es die beiden obersten Stufen der Millerschen Pyramide genauer untersucht. Dieses Modell, das den Einfluss des individuellen Umfelds und der Umstände auf die Kompetenz und die Leistung berücksichtigt, ist nützlich, wenn es darum geht, die Ergebnisse der statistischen Analyse zu rationalisieren.
Studierende können bei OSCEs im Vergleich zu ihren Leistungen bei der MPP3-Prüfung schlecht abschneiden, weil sie mit dem stressigen Charakter der Prüfung an mehreren Stationen nicht zurechtkommen. Der Wechsel von einer Station zur nächsten im 5-Minuten-Takt gibt einigen Studierenden möglicherweise nicht genügend Zeit, sich von einer schlechten Leistung an einer vorherigen Station zu erholen, was zu einer schlechten Gesamtleistung führt. Mehrere Studien zeigen, dass ein schlechtes Abschneiden in einer OSCE-Prüfung nicht auf mangelnde Kompetenz der Studierenden hindeutet.18-20 Achtzehn Studierende schnitten in ihrer schriftlichen MPP3-Prüfung deutlich besser ab als in ihren OSCEs (Abbildung 1). Dieser Befund könnte darauf zurückzuführen sein, dass sie mit dem Stress einer vertrauten schriftlichen Prüfung besser umgehen konnten als mit dem Stress der relativ ungewohnten OSCEs (d. h. ein systembedingter Einfluss). Ein weiterer möglicher Faktor ist die Bedeutung, die dem Bestehen der MPP3-Prüfung zukommt, die für die Aufnahme in das letzte Jahr des Studiums erforderlich ist. Im Gegensatz dazu ist das Bestehen der OSCEs nicht ausschlaggebend für das Weiterkommen (d. h., die Studierenden können in dieser Komponente schlecht abschneiden, aber trotzdem weiterkommen, weil sie an anderer Stelle Punkte gesammelt haben. Das Wissen, dass das Bestehen der OSCEs für das Weiterkommen nicht entscheidend ist, kann sich auf die Einstellung der Studierenden gegenüber der Prüfung auswirken (Einfluss auf die Person), was dazu führt, dass sich einige nicht so gründlich auf die OSCEs vorbereiten wie auf die MPP3-Prüfung. Es gibt zwar vereinzelte Hinweise darauf, dass diese Hypothese auf eine kleine Zahl von Studierenden zutrifft, doch sind weitere Untersuchungen erforderlich, bevor konkrete Schlussfolgerungen hinsichtlich der Auswirkungen dieser Einstellung auf die Leistung gezogen werden können.
Da Studien gezeigt haben, dass die Leistung in OSCEs nicht unbedingt ein Indikator für die Kompetenz ist,18-20 sind wir der Ansicht, dass der Erfolg der Studierenden in diesem einzelnen Element nicht entscheidend für das Fortschreiten zum Abschluss ist. Dies liegt vor allem daran, dass eine schlechte Leistung, die nicht auf mangelnde Fähigkeiten, sondern auf äußere Faktoren zurückzuführen ist, einen ansonsten fähigen Studenten daran hindern könnte, die nächste Stufe des Studiengangs zu erreichen. Dieses Problem ließe sich natürlich dadurch beheben, dass die abschließenden OSCEs mehr als einmal in einem Jahr durchgeführt werden, da die Leistungen in einer Reihe von OSCEs es den Mitarbeitern ermöglichen würden, die Kompetenz der einzelnen Studierenden genauer zu beurteilen. Es ist jedoch nicht möglich, einzelnen Studierenden in einem Jahr mehrere Versuche zum Bestehen eines OSCE zu geben, da diese Prüfungen sehr ressourcenintensiv sind. Angesichts der Kosten von OSCEs und ihrer Inkonsistenz bei der genauen Messung der klinischen Kompetenz könnte man dafür plädieren, sie als Beurteilungsinstrument aus dem Programm zu streichen, auch wenn dies bedeuten würde, dass man sich ausschließlich auf die Leistungen der Studierenden in ihren traditionellen Prüfungen (z. B. MPP3) als Maßstab für den Studienfortschritt verlassen müsste. Diese Untersuchung zeigt jedoch, dass die Korrelation zwischen den Leistungen in den traditionellen Prüfungen und den Leistungen in den OSCEs schwach ist, was darauf hindeutet, dass die Beurteilungen unterschiedliche Fähigkeiten prüfen. Daher plädieren wir dafür, bei der Ausbildung von Pharmaziestudenten weiterhin traditionelle Prüfungen in Verbindung mit OSCEs zu verwenden.
Es besteht die allgemeine Erwartung, dass mit zunehmender Erfahrung auch die klinischen Fähigkeiten und folglich die OSCE-Noten zunehmen.10,12,13 Um zu beurteilen, inwieweit diese Annahme für den Jahrgang 2009 zutrifft, verglichen wir die relativen Leistungen der einzelnen Teilnehmer an OSCEs in den Jahren 1, 3 und 4 des Grundstudiums. Obwohl sich mit zunehmender Erfahrung die OSCE-Noten für die große Mehrheit verbesserten, traf dies für 20 % der Kohorte nicht zu, trotz der Verbesserungen im dritten Jahr. Weitere Untersuchungen ergaben, dass die OSCEs im letzten Studienjahr zur gleichen Zeit stattfanden wie die Abschlussarbeit, was ein Paradebeispiel dafür ist, dass sich systembedingte Einflüsse auf die Fähigkeit der Studierenden auswirken, in klinischen Prüfungen zu bestehen. Dieser Befund wird zum Teil durch den Vergleich zwischen dem ersten und dem dritten Studienjahr gestützt, in dem es keine derartigen Konflikte gab und 100 % der Studierenden eine Verbesserung gegenüber ihrer Note im ersten Studienjahr zeigten. Zu den weiteren möglichen Faktoren, die sich auf die Prüfungsleistungen im vierten Jahr auswirken, gehören der persönliche Druck, dem einzelne Studierende ausgesetzt sind, und die höhere Komplexität der OSCEs im vierten Jahr. Der relativ geringe Anteil der OSCEs an der Gesamtnote für die Kursarbeit im Zusammenhang mit den OSCEs des vierten Studienjahres könnte einer kleinen Anzahl von Studierenden ebenfalls unwichtig erschienen sein, was sich auf den Aufwand ausgewirkt haben könnte, den diese Studierenden in die Vorbereitung investierten. Es gibt zwar vereinzelte Hinweise, die diese Hypothese stützen, doch sind weitere Untersuchungen erforderlich, bevor endgültige Schlussfolgerungen über die Auswirkungen der Einstellung zu OSCEs auf die Leistung in OSCEs gezogen werden können.