PMC
Megbeszélés
Ezek a számok azt sugallják, hogy a kari tagok megfigyelt elfogultsága az OSCE-osztályzatok felemelésére13 a jelek szerint nem érvényesül az UH esetében. A korreláció hiánya feltehetően annak az eredménye, hogy vagy egyes hallgatók jobban teljesítettek az OSCE-n, mint az MPP3 vizsgán, vagy egyes hallgatók jobban teljesítettek az MPP3 vizsgán, mint az OSCE-n.
A korrelációs diagram (1. ábra) elemzése mindkét lehetséges forgatókönyvre mutat példákat. Azok a hallgatók, akiknek a pontszámai szignifikánsan a trendvonal felett voltak, jobban teljesítettek az MPP3-vizsgán, mint az EBESZ-vizsgán; azok, akik a trendvonal alatt voltak, jobban teljesítettek az EBESZ-vizsgán, mint az MPP3-vizsgán. Ezek a különbségek az OSCE és az MPP3 vizsga által vizsgált készségek különbözőségének tulajdoníthatók.
Az MPP3 vizsga egy hagyományos írásbeli vizsga, amely feleletválasztós és esszé jellegű kérdésekből áll. Elsősorban a Miller-piramis legalsó kompetenciaszintjeit – a “tudja” és a “tudja, hogyan” – értékeli. Bár az EBESZ a piramis két alsó szintjének értékelésére is használható,16 erősségük mint értékelési eszköz abban rejlik, hogy a magasabb szintek (“megmutatja, hogyan” és bizonyos mértékig a “csinálja”) értékelésére is alkalmas, amelyek a legfontosabbak a tényleges klinikai kompetencia megértéséhez. Bár vannak bizonyítékok annak alátámasztására, hogy az erős tudásbázis javítja a klinikai kompetenciát,16 nem várható korreláció az MPP3 vizsga és a 3. szintű OSCE teljesítmény között, mivel az értékelések 2 különböző képességet mérnek.
A kompetencia értékelésére szolgáló Cambridge-i modell17 kibővíti Miller kompetenciamodelljét azzal, hogy részletesebben vizsgálja a Miller-piramis felső 2 szintjét. Ez a modell, amely figyelembe veszi az egyénre jellemző környezet és körülmények hatását a kompetenciára és a teljesítményre, hasznos a statisztikai elemzés eredményeinek racionalizálásakor.
A tanulók azért teljesíthetnek rosszul az EBESZ-ben az MPP3 vizsgán nyújtott teljesítményükhöz képest, mert nem képesek megbirkózni a több állomásos értékelés stresszes jellegével. Az egyik állomásról a másikra történő, 5 perces időközönkénti váltás egyes hallgatóknak nem adhat elég időt arra, hogy regenerálódjanak az előző állomáson nyújtott gyenge teljesítményükből, ami összességében gyenge teljesítményt eredményezhet. Számos tanulmány kimutatta, hogy az EBESZ-vizsgán nyújtott gyenge teljesítmény nem jelzi a hallgató kompetenciahiányát.18-20 Tizennyolc hallgató az MPP3 írásbeli vizsgán kifejezetten jobban teljesített, mint az EBESZ-vizsgán (1. ábra). Ez a megállapítás annak tulajdonítható, hogy képesek voltak kezelni az ismertebb írásbeli vizsga okozta stresszt a viszonylag ismeretlen EBESZ-hez képest (azaz a rendszerrel kapcsolatos hatás). Egy másik lehetséges tényező az MPP3 vizsga letételéhez kapcsolódó fontosság, amely az alapképzés utolsó évfolyamára való továbblépéshez szükséges. Ezzel szemben az EBESZ letétele nem döntő a továbbhaladás szempontjából (azaz a hallgatók rosszul teljesíthetnek ebben a komponensben, de a máshol szerzett kreditek miatt mégis továbbhaladhatnak. Az a tudat, hogy az EBESZ teljesítése nem kritikus a továbbhaladás szempontjából, hatással lehet a hallgatóknak az értékeléshez való hozzáállására (az egyénre vonatkozó befolyás), ami miatt egyesek nem készülnek fel olyan alaposan az EBESZ-re, mint az MPP3 vizsgára. Bár vannak anekdotikus bizonyítékok arra, hogy ez a hipotézis a hallgatók egy kis részére igaz, további kutatásokra van szükség, mielőtt konkrét következtetéseket lehetne levonni ennek a hozzáállásnak a teljesítményre gyakorolt hatásáról.
Mivel tanulmányok kimutatták, hogy az EBESZ-ben nyújtott teljesítmény nem feltétlenül a kompetencia mutatója,18-20 úgy érezzük, hogy a hallgatók sikere ebben az egyéni elemben nem döntő fontosságú a fokozatszerzéshez való előrehaladás szempontjából. Ez főként azért van így, mert a külső tényezőkből eredő gyenge teljesítmény, szemben a képességek hiányával, megakadályozhatja az egyébként alkalmas hallgatót abban, hogy továbblépjen a program következő szakaszába. Nyilvánvaló, hogy ez a probléma javítható lenne azzal, ha egy adott évben többször is lefolytatnánk az összefoglaló EBESZ-t, mivel az EBESZ-ek sorozatában nyújtott teljesítmény lehetővé tenné a személyzet tagjai számára, hogy pontosabban értékeljék az egyes hallgatók kompetenciáját. A vizsgák erőforrás-igényes jellege miatt azonban nem megvalósítható, hogy az egyes hallgatók egy évben többször próbálkozzanak az EBESZ teljesítésével. Tekintettel az EBESZ költségeire és a klinikai kompetencia pontos mérésében mutatkozó következetlenségükre, érvként felhozható, hogy ezeket a vizsgákat mint értékelési eszközt ki kellene iktatni a programból, még akkor is, ha ez azt jelentené, hogy a továbbhaladás mércéjeként kizárólag a hallgatók hagyományos vizsgákon (pl. MPP3) nyújtott teljesítményére kellene hagyatkozni. Ez a kutatás azonban azt mutatja, hogy a hagyományos vizsgákon nyújtott teljesítmény és az EBESZ-ben nyújtott teljesítmény közötti korreláció gyenge, ami arra utal, hogy az értékelések különböző készségeket vizsgálnak. Ezért azt javasoljuk, hogy a gyógyszerészhallgatók képzésében továbbra is a hagyományos vizsgák és az EBESZ-ek együttesen kerüljenek alkalmazásra.
Általános elvárás, hogy a tapasztalat növekedése a klinikai képességek és ennek következtében az EBESZ-pontok egyidejű növekedéséhez vezet.10,12,13 Annak felmérésére, hogy ez a feltételezés mennyire érvényesül a 2009-es kohorsz esetében, összehasonlítottuk az egyének relatív eredményeit az EBESZ-ekben az alapképzés 1., 3. és 4. évében. Bár a növekvő tapasztalat a túlnyomó többség esetében az EBESZ-pontszámok javulását eredményezte, ez a kohorsz 20%-ára nem volt igaz, annak ellenére, hogy a 3. évben javult a helyzet. A további vizsgálat feltárta, hogy az utolsó évfolyamos EBESZ-ek egy időben zajlottak az utolsó évfolyamos projekt-dolgozat elkészítésével, ami kiváló példája annak, hogy a rendszerrel kapcsolatos hatások befolyásolják a hallgatók klinikai vizsgákon való teljesítőképességét. Ezt a megállapítást részben alátámasztja az 1. év és a 3. év összehasonlítása, ahol nem voltak ilyen konfliktusok, és a hallgatók 100%-a mutatott javulást az első évi jegyéhez képest. A 4. év értékelési teljesítményét befolyásoló egyéb lehetséges tényezők közé tartozik az egyes hallgatók által tapasztalt személyes külső nyomás és a 4. évfolyamos EBESZ fokozott összetettsége. Az EBESZ-ek viszonylag csekély hozzájárulása a 4. évfolyam EBESZ-eihez kapcsolódó kurzus teljes jegyéhez szintén jelentéktelennek tűnhetett a hallgatók egy kis része számára, és ez befolyásolhatta azt, hogy ezek a hallgatók mennyi erőfeszítést fektettek a felkészülésbe. Bár vannak anekdotikus bizonyítékok e hipotézis alátámasztására, további kutatásokra van szükség ahhoz, hogy végleges következtetéseket lehessen levonni az EBESZ-hez való hozzáállásnak az EBESZ-ben nyújtott teljesítményre gyakorolt hatásáról.