PMC
DISCUSSION
Te liczby sugerują, że zaobserwowana tendencja członków wydziału do zawyżania ocen OSCE13 nie wydaje się mieć miejsca w przypadku UH. Uważa się, że brak korelacji jest wynikiem tego, że albo niektórzy studenci osiągają lepsze wyniki w swoich OSCE niż na egzaminie MPP3, albo niektórzy studenci osiągają lepsze wyniki na egzaminie MPP3 niż w swoich OSCE.
Analiza wykresu korelacji (rys. 1) pokazuje przypadki obu możliwych scenariuszy. Studenci, których wyniki były znacząco powyżej linii trendu, lepiej wypadli na egzaminie MPP3 niż na egzaminach OSCE; studenci, których wyniki były poniżej linii trendu, lepiej wypadli na egzaminach OSCE niż na egzaminie MPP3. Różnice te można przypisać różnym zestawom umiejętności, do testowania których zaprojektowano egzaminy OSCE i MPP3.
Egzamin MPP3 jest tradycyjnym egzaminem pisemnym składającym się z serii pytań wielokrotnego wyboru i pytań opisowych. Ocenia on przede wszystkim najniższe poziomy kompetencji z piramidy Millera – „wie” i „wie jak”. Chociaż OSCE mogą być również stosowane do oceny 2 niższych poziomów piramidy,16 ich siła jako narzędzia oceny polega na tym, że mogą one również oceniać wyższe poziomy („pokazuje jak” i, do pewnego stopnia, „robi”), które są najważniejsze dla uzyskania zrozumienia rzeczywistych kompetencji klinicznych. Chociaż istnieją dowody na poparcie tezy, że solidna baza wiedzy zwiększa kompetencje kliniczne,16 nie należy oczekiwać korelacji między egzaminem MPP3 a wynikami OSCE na poziomie 3, ponieważ oceny te mierzą dwie różne zdolności.
Model Cambridge17 służący do oceny kompetencji rozszerza model kompetencji Millera poprzez bardziej szczegółowe zbadanie dwóch górnych poziomów piramidy Millera. Model ten, który uwzględnia wpływ środowiska i okoliczności specyficznych dla danej osoby na kompetencje i wyniki, jest przydatny przy racjonalizacji wyników analizy statystycznej.
Studenci mogą osiągać słabe wyniki w OSCE w porównaniu z wynikami na egzaminie MPP3 z powodu niezdolności do radzenia sobie ze stresującym charakterem oceny wielostanowiskowej. Przechodzenie z jednego stanowiska do drugiego w odstępach 5-minutowych może nie dać niektórym studentom wystarczająco dużo czasu na zregenerowanie sił po słabym wyniku na poprzednim stanowisku, co może skutkować słabym wynikiem ogólnym. W kilku badaniach wykazano, że słabe wyniki podczas egzaminu OSCE nie świadczą o braku kompetencji ucznia.18-20 Osiemnastu uczniów uzyskało znacznie lepsze wyniki podczas pisemnego egzaminu MPP3 niż podczas egzaminu OSCE (ryc. 1). Wynik ten można przypisać ich zdolności do radzenia sobie ze stresem związanym z bardziej znanym egzaminem pisemnym w porównaniu z relatywnie nieznanym egzaminem OSCE (tj. wpływ związany z systemem). Innym możliwym czynnikiem jest znaczenie związane ze zdawaniem egzaminu MPP3, który jest wymagany do przejścia na ostatni rok studiów licencjackich. W przeciwieństwie do tego, zdawanie egzaminów OSCE nie jest kluczowe dla postępu (tzn. studenci mogą osiągać słabe wyniki w tym komponencie, ale mimo to kontynuować naukę ze względu na punkty zdobyte w innym miejscu). Świadomość, że zdanie OSCE nie jest kluczowe dla postępu może wpływać na stosunek studentów do oceny (wpływ odnoszący się do jednostki), powodując, że niektórzy nie przygotowują się tak dokładnie do OSCE, jak do egzaminu MPP3. Chociaż istnieją niepotwierdzone dowody, że hipoteza ta jest prawdziwa w przypadku niewielkiej liczby studentów, konieczne są dalsze badania, zanim będzie można wyciągnąć konkretne wnioski dotyczące wpływu tej postawy na wyniki.
Jako że badania wykazały, że wyniki w OSCE niekoniecznie są wskaźnikiem kompetencji,18-20 uważamy, że sukces studenta w tym indywidualnym elemencie nie jest kluczowy dla postępu w kierunku stopnia. Wynika to głównie z faktu, że słabe wyniki wynikające z czynników zewnętrznych, w przeciwieństwie do braku umiejętności, mogą utrudnić zdolnemu studentowi przejście do następnego etapu programu. Oczywiście problem ten można by złagodzić, przeprowadzając podsumowujące egzaminy OSCE więcej niż raz w ciągu danego roku, ponieważ wyniki uzyskane podczas serii egzaminów OSCE umożliwiłyby członkom personelu dokładniejszą ocenę kompetencji poszczególnych studentów. Nie jest jednak wykonalne umożliwienie poszczególnym studentom wielokrotnych prób zaliczenia OSCE w ciągu jednego roku ze względu na zasobochłonny charakter tych egzaminów. Biorąc pod uwagę koszt OSCE i ich niespójność w dokładnym pomiarze kompetencji klinicznych, można by wysunąć argument za wyeliminowaniem ich z programu jako środka oceny, nawet jeśli oznaczałoby to poleganie wyłącznie na wynikach studentów w ich tradycyjnych egzaminach (np. MPP3) jako metryce progresji. Badanie to pokazuje jednak, że korelacja między wynikami w tradycyjnych egzaminach a wynikami w OSCE jest słaba, co sugeruje, że oceny te badają różne umiejętności. W związku z tym opowiadamy się za dalszym stosowaniem tradycyjnych egzaminów w połączeniu z OSCE w szkoleniu studentów farmacji.
Ogólnie oczekuje się, że wzrost doświadczenia doprowadzi do równoczesnego wzrostu umiejętności klinicznych, a w konsekwencji do ocen OSCE.10,12,13 Aby ocenić, w jakim stopniu to założenie dotyczyło kohorty z 2009 roku, porównaliśmy względne osiągnięcia poszczególnych osób w OSCE w roku 1, 3 i 4 programu studiów licencjackich. Chociaż większe doświadczenie spowodowało poprawę ocen OSCE dla zdecydowanej większości, nie było to prawdą w przypadku 20% kohorty, pomimo poprawy na roku 3. Dalsze dochodzenie ujawniło, że końcoworoczne OSCE odbywały się w tym samym czasie, w którym należało napisać końcoworoczną pracę projektową, co jest doskonałym przykładem wpływów systemowych wpływających na zdolność studentów do wykonywania egzaminów klinicznych. Wniosek ten jest częściowo poparty porównaniem roku 1 z rokiem 3, gdzie nie było takich konfliktów, a 100% studentów wykazało poprawę w stosunku do oceny z pierwszego roku. Inne możliwe czynniki wpływające na wyniki oceny na 4. roku obejmują osobistą presję zewnętrzną doświadczaną przez poszczególnych studentów oraz zwiększoną złożoność OSCE na 4. roku. Stosunkowo niewielki udział OSCE w ogólnej ocenie pracy kursowej związanej z OSCE na czwartym roku również mógł wydawać się nieistotny dla niewielkiej liczby studentów, co mogło wpłynąć na to, jak wiele wysiłku studenci ci zainwestowali w przygotowania. Chociaż istnieją niepotwierdzone dowody na poparcie tej hipotezy, konieczne są dalsze badania, zanim będzie można wyciągnąć ostateczne wnioski dotyczące wpływu postawy wobec OBCE na wyniki w OBCE.
.