PMC
DISCUSSION
Disse tal tyder på, at den observerede skævhed, som fakultetsmedlemmer har for at opblæse OSCE-karakterer13, ikke synes at gælde for UH. Den manglende korrelation menes at være et resultat af, at enten nogle studerende klarer sig bedre i deres OSCE’er end i deres MPP3-eksamen, eller at nogle studerende klarer sig bedre i MPP3-eksamen end i deres OSCE’er.
Analyse af korrelationsplottet (figur 1) viser eksempler på begge mulige scenarier. De studerende, hvis resultater lå signifikant over tendenslinjen, klarede sig bedre ved deres MPP3-undersøgelser end ved deres OSCE-undersøgelser; de studerende, hvis resultater lå under tendenslinjen, klarede sig bedre ved deres OSCE-undersøgelser end ved deres MPP3-undersøgelse. Disse forskelle kan skyldes de forskellige færdighedssæt, som OSCE’erne og MPP3-eksamen er udformet til at teste.
MP3-eksamen er en traditionel skriftlig eksamen, der består af en række multiple-choice- og essay-spørgsmål. Den vurderer primært de laveste kompetenceniveauer i Millers pyramide – “ved” og “ved hvordan”. Mens OSCE’er også kan bruges til at vurdere de 2 nederste niveauer i pyramiden16 , er deres styrke som vurderingsværktøj, at de også kan vurdere de højere niveauer (“viser hvordan” og til en vis grad “gør”), som er de vigtigste for at få en forståelse af den faktiske kliniske kompetence. Selv om der er dokumentation for, at et stærkt vidensgrundlag vil forbedre den kliniske kompetence16 , bør man ikke forvente en korrelation mellem MPP3-undersøgelsen og OSCE-præstationen på niveau 3, fordi vurderingerne måler 2 forskellige evner.
Cambridge-modellen17 til vurdering af kompetence udvider Millers kompetencemodel ved at undersøge de to øverste niveauer i Millers pyramide mere detaljeret. Denne model, som tager højde for indflydelsen af individspecifikke omgivelser og omstændigheder på kompetence og præstation, er nyttig, når man rationaliserer resultaterne af den statistiske analyse.
Den studerende kan præstere dårligt i OSCE’er i forhold til deres præstation ved MPP3-eksamen på grund af deres manglende evne til at håndtere den stressende karakter af vurderingen med flere stationer. At bevæge sig fra en station til en anden med 5 minutters mellemrum giver måske ikke nogle studerende nok tid til at komme sig efter en dårlig præstation på en tidligere station, hvilket resulterer i en dårlig samlet præstation. Flere undersøgelser viser, at en dårlig præstation i en OSCE-undersøgelse ikke er tegn på en studerendes manglende kompetence.18-20 18 studerende klarede sig markant bedre i deres skriftlige MPP3-undersøgelse end i deres OSCE-undersøgelser (figur 1). Dette resultat kan tilskrives deres evne til at håndtere stresset ved en mere velkendt skriftlig eksamen sammenlignet med stresset ved de relativt ukendte OSCE’er (dvs. en indflydelse, der vedrører systemet). En anden mulig faktor er den betydning, der er forbundet med at bestå MPP3-eksamen, som er et krav for at komme videre til det sidste år af bacheloruddannelsen. I modsætning hertil er det ikke afgørende at bestå OSCE’erne for at komme videre (dvs. at de studerende kan klare sig dårligt i denne del, men alligevel komme videre på grund af merit, der er opnået andre steder). Viden om, at det ikke er afgørende for at komme videre kan påvirke de studerendes holdninger til vurderingen (indflydelse i forhold til en person), hvilket kan få nogle til ikke at forberede sig så grundigt til OSCE’erne, som de ville gøre til MPP3-eksamen. Selv om der er anekdotiske beviser for, at denne hypotese gælder for et lille antal studerende, er der behov for yderligere forskning, før der kan drages konkrete konklusioner om denne holdnings indvirkning på præstationen.
Da undersøgelser har vist, at præstation i OSCE’er ikke nødvendigvis er en indikator for kompetence,18-20 mener vi, at de studerendes succes i dette individuelle element ikke er afgørende for progression mod en grad. Dette skyldes i høj grad, at dårlige præstationer, der skyldes eksterne faktorer i modsætning til manglende evner, kan forhindre en ellers dygtig studerende i at gå videre til næste trin i programmet. Dette problem kunne naturligvis afhjælpes ved at gennemføre summative OSCE’er mere end én gang i løbet af et givet år, da præstationerne i en række OSCE’er ville gøre det muligt for personalet at vurdere de enkelte studerendes kompetence mere nøjagtigt. Det er imidlertid ikke muligt at give de enkelte studerende flere forsøg på at bestå en OSCE i løbet af et enkelt år på grund af den ressourcekrævende karakter af disse eksamener. I betragtning af omkostningerne ved OSCE’er og deres inkonsekvens med hensyn til nøjagtig måling af klinisk kompetence kunne man argumentere for at fjerne dem fra programmet som et middel til vurdering, selv om dette ville betyde, at man udelukkende skulle stole på de studerendes præstationer i deres traditionelle eksamener (f.eks. MPP3) som en målestok for progression. Denne forskning viser imidlertid, at sammenhængen mellem præstationer i traditionelle eksamener og præstationer i OSCE’er er svag, hvilket tyder på, at vurderingerne undersøger forskellige færdigheder. Derfor går vi ind for fortsat brug af traditionelle eksaminer i forbindelse med OSCE’er i uddannelsen af farmaceutstuderende.
Der er en generel forventning om, at en stigning i erfaring vil føre til en samtidig stigning i kliniske færdigheder og som følge heraf i OSCE-karakterer.10,12,13 For at vurdere, i hvilket omfang denne antagelse holdt for 2009-kohorten, sammenlignede vi de relative præstationer af enkeltpersoner i OSCE’er på år 1, 3 og 4 af bacheloruddannelsen. Selv om øget erfaring resulterede i forbedrede OSCE-karakterer for langt de fleste, gjaldt dette ikke for 20 % af kohorten på trods af forbedringer på år 3. Yderligere undersøgelser afslørede, at OSCE’erne på sidste år fandt sted samtidig med, at afhandlingen for det afsluttende årsprojekt skulle afleveres, hvilket er et godt eksempel på systemrelaterede påvirkninger, der påvirker de studerendes evne til at præstere i kliniske eksaminer. Dette resultat understøttes til dels af sammenligningen mellem år 1 og år 3, hvor der ikke var sådanne konflikter, og hvor 100 % af de studerende viste forbedringer i forhold til deres karakterer fra første år. Andre mulige faktorer, der påvirker præstationerne ved år 4-vurderingen, omfatter det personlige eksterne pres, som de enkelte studerende oplever, og den øgede kompleksitet af år 4 OSCE-undersøgelserne. OSCE’ernes relativt lille bidrag til den samlede karakter for kursusarbejde i forbindelse med OSCE’er i år 4 kan også have virket ligegyldigt for et lille antal studerende, og dette kan have haft indflydelse på, hvor meget disse studerende har investeret i forberedelsen. Selv om der er anekdotiske beviser for at støtte denne hypotese, er der behov for mere forskning, før der kan drages endelige konklusioner om virkningen af holdningen til OSCE’er på præstationen i OSCE’er.