PMC
DISCUSSION
Dessa siffror tyder på att den observerade fördelen för fakultetsmedlemmar att blåsa upp OSCE-betyg13 inte verkar gälla för UH. Avsaknaden av en korrelation tros vara ett resultat av att antingen vissa studenter presterade bättre i sina OSCEs än i sin MPP3-examen, eller att vissa studenter presterade bättre i MPP3-examen än i sina OSCEs.
En analys av korrelationsdiagrammet (figur 1) visar exempel på båda möjliga scenarier. Studenter vars resultat låg signifikant över trendlinjen presterade bättre på sina MPP3-undersökningar än på sina OSCE-undersökningar; de som låg under trendlinjen presterade bättre på sina OSCE-undersökningar än på sina MPP3-undersökningar. Dessa skillnader kan bero på de olika färdigheter som OSCE:erna och MPP3-undersökningen är utformade för att testa.
MPP3-undersökningen är en traditionell skriftlig undersökning som består av en serie flervals- och essäfrågor. Den bedömer främst de lägsta kompetensnivåerna i Millers pyramid – ”vet” och ”vet hur”. OSCE kan också användas för att bedöma de två lägre nivåerna i pyramiden16 , men deras styrka som bedömningsverktyg är att de också kan bedöma de högre nivåerna (”visar hur” och, i viss mån, ”gör”) som är viktigast för att få en förståelse för den faktiska kliniska kompetensen. Även om det finns belägg för att en stark kunskapsbas förbättrar den kliniska kompetensen,16 bör man inte förvänta sig en korrelation mellan MPP3-undersökningen och OSCE-utförandet på nivå 3, eftersom bedömningarna mäter två olika förmågor.
Cambridgemodellen17 för bedömning av kompetens utökar Millers kompetensmodell genom att undersöka de två översta nivåerna i Millers pyramid i större detalj. Denna modell, som tar hänsyn till inflytandet av individspecifika miljöer och omständigheter på kompetens och prestation, är användbar när man rationaliserar resultaten av den statistiska analysen.
Studenterna kan prestera sämre i OSCE:erna i förhållande till deras prestationer på MPP3-undersökningen på grund av deras oförmåga att hantera den stressiga karaktären hos bedömningen i flera stationer. Att flytta från en station till en annan med 5 minuters mellanrum kanske inte ger vissa studenter tillräckligt med tid för att återhämta sig från en dålig prestation vid en tidigare station, vilket resulterar i en dålig total prestation. Flera studier visar att ett dåligt resultat i en OSCE-undersökning inte är ett tecken på att en student saknar kompetens.18-20 Arton studenter presterade klart bättre i sin skriftliga MPP3-undersökning än i sina OSCE-undersökningar (figur 1). Detta resultat kan bero på deras förmåga att hantera stressen i en mer bekant skriftlig examination jämfört med stressen i de relativt obekanta OSCE:erna (dvs. en påverkan som har med systemet att göra). En annan möjlig faktor är den betydelse som är förknippad med att klara MPP3-examen, som krävs för att gå vidare till det sista året i grundutbildningen. Däremot är det inte avgörande att klara OSCE-provet för att gå vidare (dvs. studenterna kan prestera dåligt i denna del men ändå gå vidare på grund av tillgodoräknade poäng på annat håll). Vetskapen om att det inte är avgörande för att gå vidare kan påverka studenternas attityder till bedömningen (inflytande som rör en individ), vilket gör att vissa inte förbereder sig lika grundligt för OSCE:s som de skulle göra för MPP3-examen. Även om det finns anekdotiska bevis för att denna hypotes stämmer för ett litet antal studenter, behövs ytterligare forskning innan man kan dra konkreta slutsatser om denna attityds inverkan på prestationen.
Då studier har visat att prestationen i OSCE:s inte nödvändigtvis är en indikator på kompetens,18-20 anser vi att studenternas framgång i detta individuella moment inte är avgörande för progression mot en examen. Detta beror till stor del på att dåliga prestationer som beror på externa faktorer, i motsats till bristande förmåga, skulle kunna hindra en annars kompetent student från att gå vidare till nästa steg i programmet. Det är uppenbart att detta problem skulle kunna förbättras genom att genomföra summativa OSCEs mer än en gång under ett givet år, eftersom prestationer under en rad OSCEs skulle göra det möjligt för personalen att mer exakt bedöma enskilda studenters kompetens. Det är dock inte möjligt att ge enskilda studenter flera försök att klara en OSCE under ett och samma år på grund av att dessa prov är resurskrävande. Med tanke på kostnaden för OSCE:s och deras inkonsekvens när det gäller att exakt mäta klinisk kompetens skulle man kunna argumentera för att ta bort dem från programmet som bedömningsmetod, även om detta skulle innebära att man enbart skulle förlita sig på studenternas prestationer i deras traditionella examinationer (t.ex. MPP3) som ett mått på progression. Denna forskning visar dock att korrelationen mellan prestationer i traditionella prov och prestationer i OSCEs är svag, vilket tyder på att bedömningarna undersöker olika färdigheter. Därför förespråkar vi en fortsatt användning av traditionella examinationer tillsammans med OSCE:s vid utbildning av apotekarstudenter.
Det finns en allmän förväntan om att en ökad erfarenhet kommer att leda till en samtidig ökning av den kliniska förmågan och, som en följd av detta, av OSCE-betygen.10,12,13 För att bedöma i vilken utsträckning detta antagande gällde för 2009 års kohort jämförde vi individers relativa resultat i OSCE:s vid årskurserna 1, 3 och 4 i grundutbildningen. Även om ökad erfarenhet resulterade i förbättrade OSCE-betyg för den stora majoriteten, gällde detta inte för 20 % av kohorten, trots förbättringar under år 3. Ytterligare undersökningar visade att OSCE-undersökningarna under det sista året ägde rum samtidigt som avhandlingen för slutprojektet skulle lämnas in, vilket är ett utmärkt exempel på systemrelaterade influenser som påverkar studenternas förmåga att prestera i kliniska undersökningar. Detta resultat stöds delvis av jämförelsen mellan år 1 och år 3, där det inte förekom några sådana konflikter och 100 % av studenterna uppvisade förbättringar jämfört med deras betyg från första året. Andra möjliga faktorer som påverkar bedömningen i årskurs 4 är bland annat den yttre press som enskilda studenter utsätts för och den ökade komplexiteten i OSCE-undersökningarna i årskurs 4. Det relativt lilla bidraget från OSCE:erna till det totala betyget för kursarbete i samband med OSCE:erna i årskurs 4 kan också ha verkat oviktigt för ett litet antal studenter, och detta kan ha påverkat hur mycket dessa studenter ansträngde sig för att förbereda sig. Även om det finns anekdotiska bevis som stöder denna hypotes, behövs mer forskning innan definitiva slutsatser kan dras om hur attityden till OSCEs påverkar prestationen i OSCEs.