PMC
DISKUZE
Tato čísla naznačují, že pozorovaná tendence členů fakulty nadhodnocovat známky OSCE13 zřejmě neplatí pro UH. Předpokládá se, že neexistence korelace je důsledkem toho, že buď někteří studenti dosáhli lepších výsledků v OSCE než při zkoušce MPP3, nebo někteří studenti dosáhli lepších výsledků při zkoušce MPP3 než při OSCE.
Analýza korelačního grafu (obrázek 1) ukazuje případy obou možných scénářů. Studenti, jejichž výsledky byly výrazně nad trendovou linií, dosáhli lepších výsledků při zkoušce MPP3 než při zkoušce OSCE; studenti, jejichž výsledky byly pod trendovou linií, dosáhli lepších výsledků při zkoušce OSCE než při zkoušce MPP3. Tyto rozdíly lze přičíst rozdílným souborům dovedností, které měly OSCE a zkouška MPP3 testovat.
Zkouška MPP3 je tradiční písemná zkouška sestávající z řady otázek s výběrem odpovědí a esejí. Hodnotí především nejnižší úrovně kompetencí Millerovy pyramidy – „ví“ a „umí“. Ačkoli OSCE lze použít i k hodnocení 2 nižších úrovní pyramidy16 , jejich síla jako nástroje hodnocení spočívá v tom, že mohou hodnotit i vyšší úrovně („ukazuje jak“ a do jisté míry i „dělá“), které jsou pro získání představy o skutečné klinické kompetenci nejdůležitější. Ačkoli existují důkazy podporující předpoklad, že silná znalostní základna zlepší klinickou kompetenci,16 korelaci mezi zkouškou MPP3 a výkonem na úrovni 3 OSCE nelze očekávat, protože hodnocení měří 2 odlišné schopnosti.
Kambridgeský model17 pro hodnocení kompetencí rozšiřuje Millerův model kompetencí tím, že podrobněji zkoumá 2 nejvyšší úrovně Millerovy pyramidy. Tento model, který zohledňuje vliv individuálně specifického prostředí a okolností na kompetence a výkon, je užitečný při racionalizaci výsledků statistické analýzy.
Studenti mohou dosahovat horších výsledků v OSCE ve srovnání s jejich výkonem při zkoušce MPP3 z důvodu neschopnosti vyrovnat se se stresující povahou hodnocení na více stanovištích. Přecházení z jedné stanice na druhou v pětiminutových intervalech nemusí některým studentům poskytnout dostatek času na zotavení ze špatného výkonu na předchozí stanici, což má za následek špatný celkový výkon. Několik studií ukazuje, že špatný výkon při zkoušce OSCE nesvědčí o nedostatečné kompetenci studenta.18-20 Osmnáct studentů dosáhlo výrazně lepších výsledků při písemné zkoušce MPP3 než při zkoušce OSCE (obrázek 1). Toto zjištění lze přičíst jejich schopnosti zvládnout stres při známější písemné zkoušce ve srovnání se stresem při relativně neznámé zkoušce OSCE (tj. vliv týkající se systému). Dalším možným faktorem je důležitost spojená se složením zkoušky MPP3, která je nutná pro postup do posledního ročníku bakalářského studia. Naproti tomu složení zkoušek OSCE není pro postup rozhodující (tj. studenti mohou mít v této složce špatné výsledky, ale přesto postoupí díky kreditům získaným jinde. Vědomí, že absolvování OSCE není pro postup rozhodující, může mít vliv na postoj studentů k hodnocení (vliv týkající se jednotlivce), což způsobuje, že někteří se na OSCE nepřipravují tak důkladně jako na zkoušku MPP3. Ačkoli existují neoficiální důkazy, že tato hypotéza platí pro malý počet studentů, je zapotřebí dalšího výzkumu, než bude možné učinit konkrétní závěry ohledně vlivu tohoto postoje na výkon.
Jelikož studie ukázaly, že výkon v OSCE nemusí být nutně ukazatelem kompetencí,18-20 domníváme se, že úspěch studentů v tomto individuálním prvku není pro postup ke studiu rozhodující. Je tomu tak především proto, že špatný výkon způsobený vnějšími faktory, na rozdíl od nedostatečných schopností, by mohl jinak schopnému studentovi bránit v postupu do další fáze programu. Je zřejmé, že tento problém by mohl být zmírněn prováděním sumativních testů OSCE více než jednou během daného roku, protože výkony v sérii testů OSCE by pracovníkům umožnily přesněji posoudit schopnosti jednotlivých studentů. Vzhledem k náročnosti těchto zkoušek na zdroje však není možné poskytnout jednotlivým studentům více pokusů o absolvování OSCE v jednom roce. Vzhledem k nákladům na zkoušky OSCE a jejich nekonzistentnosti při přesném měření klinických kompetencí by bylo možné argumentovat pro jejich vyřazení z programu jako prostředku hodnocení, i když by to znamenalo spoléhat se pouze na výsledky studentů při jejich tradičních zkouškách (např. MPP3) jako na měřítko pro postup. Tento výzkum však ukazuje, že korelace mezi výkony v tradičních zkouškách a výkony v OSCE je slabá, což naznačuje, že tato hodnocení zkoumají odlišné dovednosti. Proto jsme zastánci toho, aby se při vzdělávání studentů farmacie nadále používaly tradiční zkoušky ve spojení s OSCE.
Obecně se předpokládá, že nárůst zkušeností povede k současnému nárůstu klinických schopností a v důsledku toho i k nárůstu známek v OSCE.10,12,13 Abychom posoudili, do jaké míry tento předpoklad platí pro kohortu z roku 2009, porovnali jsme relativní úspěchy jednotlivců v OSCE v 1., 3. a 4. ročníku bakalářského programu. Ačkoli zvýšení zkušeností vedlo ke zlepšení známek v OSCE u naprosté většiny, u 20 % kohorty to neplatilo, a to i přes zlepšení ve 3. ročníku. Další šetření odhalilo, že zkoušky OSCE v posledním ročníku probíhaly ve stejnou dobu, kdy se odevzdávala závěrečná projektová práce, což je ukázkový příklad systémových vlivů, které ovlivňují schopnost studentů uspět při klinických zkouškách. Toto zjištění je částečně podpořeno srovnáním 1. ročníku s 3. ročníkem, kde k takovým konfliktům nedošlo a 100 % studentů vykázalo zlepšení oproti známce z 1. ročníku. K dalším možným faktorům ovlivňujícím výkon při hodnocení ve 4. ročníku patří osobní vnější tlaky, které jednotliví studenti zažívají, a zvýšená složitost zkoušek OSCE ve 4. ročníku. Relativně malý podíl OSCE na celkové známce za kurzovou práci spojenou s OSCE ve 4. ročníku se také mohl zdát malému počtu studentů nedůležitý, což mohlo mít vliv na to, kolik úsilí tito studenti investovali do přípravy. Ačkoli existují neoficiální důkazy, které tuto hypotézu podporují, je třeba provést další výzkum, než bude možné vyvodit definitivní závěry ohledně vlivu postoje k OSCE na výkon v OSCE.
.