PMC
DISCUSSIE
Deze cijfers suggereren dat het waargenomen vooroordeel dat faculteitsleden de OSCE-cijfers opblazen13 , niet lijkt op te gaan voor UH. Het ontbreken van een correlatie wordt verondersteld het resultaat te zijn van ofwel sommige studenten die beter presteren in hun OSCE’s dan in hun MPP3-examen, ofwel sommige studenten die beter presteren in het MPP3-examen dan in hun OSCE’s.
Analyse van de correlatieplot (figuur 1) toont gevallen van beide mogelijke scenario’s. Studenten wier scores significant boven de trendlijn lagen, presteerden beter op hun MPP3-examens dan op hun OSCE’s; degenen die onder de trendlijn lagen, presteerden beter op hun OSCE’s dan op hun MPP3-examen. Deze verschillen kunnen worden toegeschreven aan de verschillende vaardigheden die de OSCE’s en het MPP3-examen zijn ontworpen om te testen.
Het MPP3-examen is een traditioneel schriftelijk examen dat bestaat uit een reeks meerkeuze- en open vragen. Het beoordeelt voornamelijk de laagste niveaus van bekwaamheid van Miller’s piramide – “weet” en “weet hoe”. Hoewel OSCE’s ook kunnen worden gebruikt om de twee lagere niveaus van de piramide te beoordelen,16 is hun kracht als beoordelingsinstrument dat zij ook de hogere niveaus kunnen beoordelen (“laat zien hoe” en, tot op zekere hoogte, “doet”) die het belangrijkst zijn voor het verkrijgen van inzicht in de feitelijke klinische competentie. Hoewel er bewijs is dat de veronderstelling ondersteunt dat een sterke kennisbasis de klinische competentie zal verbeteren,16 moet een correlatie tussen het MPP3 examen en de niveau 3 OSCE prestatie niet worden verwacht omdat de beoordelingen 2 verschillende capaciteiten meten.
Het Cambridge Model17 voor het beoordelen van competentie breidt uit op Miller’s model van competentie door de bovenste 2 niveaus van Miller’s piramide in meer detail te onderzoeken. Dit model, dat rekening houdt met de invloed van de individuele omgeving en omstandigheden op competentie en prestatie, is nuttig bij het rationaliseren van de resultaten van de statistische analyse.
Studenten kunnen slecht presteren in OSCE’s in vergelijking met hun prestaties op het MPP3 examen vanwege hun onvermogen om om te gaan met de stressvolle aard van de beoordeling met meerdere stations. Het verplaatsen van het ene station naar het andere met tussenpozen van 5 minuten kan sommige studenten niet genoeg tijd geven om te herstellen van een slechte prestatie op een vorig station, wat resulteert in een slechte algemene prestatie. Verschillende studies tonen aan dat slechte prestaties in een OSCE-examen geen indicatie zijn voor een gebrek aan bekwaamheid van een student.18-20 Achttien studenten presteerden duidelijk beter in hun schriftelijke MPP3-examen dan in hun OSCE’s (figuur 1). Deze bevinding kan worden toegeschreven aan hun vermogen om te gaan met de stress van een meer vertrouwd schriftelijk examen in vergelijking met die van de relatief onbekende OSCE’s (d.w.z. een invloed die verband houdt met het systeem). Een andere mogelijke factor is het belang dat wordt gehecht aan het slagen voor het MPP3-examen, dat vereist is om te kunnen doorstromen naar het laatste jaar van het undergraduate degree-programma. Het slagen voor de OSCE’s is daarentegen niet van cruciaal belang voor de voortgang (d.w.z. studenten kunnen slecht presteren voor dit onderdeel maar toch doorgaan omdat zij elders studiepunten hebben verdiend. De wetenschap dat het slagen voor de OSCE’s niet cruciaal is voor de voortgang kan van invloed zijn op de houding van studenten ten opzichte van de beoordeling (invloed met betrekking tot een individu), waardoor sommigen zich niet zo grondig voorbereiden op de OSCE’s als zij zouden doen voor het MPP3-examen. Hoewel er anekdotisch bewijs is dat deze hypothese voor een klein aantal studenten opgaat, is verder onderzoek nodig voordat concrete conclusies kunnen worden getrokken over de invloed van deze houding op de prestaties.
Omdat studies hebben aangetoond dat prestaties in de OSCE’s niet noodzakelijkerwijs een indicator van bekwaamheid zijn,18-20 zijn wij van mening dat het slagen van studenten in dit individuele onderdeel niet van cruciaal belang is voor de voortgang naar een graad. Dit is vooral omdat slechte prestaties als gevolg van externe factoren, in tegenstelling tot een gebrek aan bekwaamheid, een anderszins bekwame student zouden kunnen beletten om door te gaan naar de volgende fase van het programma. Uiteraard zou dit probleem kunnen worden verholpen door meer dan eens in een jaar summatieve OSCE’s te houden, aangezien de prestaties gedurende een reeks OSCE’s de stafleden in staat zouden stellen de bekwaamheid van individuele studenten nauwkeuriger te beoordelen. Het is echter niet haalbaar om individuele studenten meerdere pogingen te laten doen om in één jaar een OVSE af te leggen, gezien de middelen die deze examens vergen. Gezien de kosten van de OSCE’s en hun inconsistentie in het nauwkeurig meten van klinische bekwaamheid, zou men ervoor kunnen pleiten om ze als beoordelingsmiddel uit de opleiding te schrappen, ook al zou dat betekenen dat men alleen nog maar zou vertrouwen op de prestaties van studenten in hun traditionele examens (bijv. MPP3) als maatstaf voor progressie. Dit onderzoek toont echter aan dat de correlatie tussen prestaties in traditionele examens en prestaties in OSCE’s zwak is, wat suggereert dat de beoordelingen verschillende vaardigheden onderzoeken. Daarom pleiten wij voor het blijvend gebruik van traditionele examens in combinatie met OSCE’s bij de opleiding van studenten farmacie.
Er is een algemene verwachting dat een toename in ervaring zal leiden tot een gelijktijdige toename in klinische vaardigheid en, als gevolg daarvan, in OSCE cijfers.10,12,13 Om te beoordelen in hoeverre deze veronderstelling opging voor het 2009 cohort, vergeleken wij de relatieve prestaties van individuen in OSCE’s in jaar 1, 3, en 4 van het undergraduate programma. Hoewel meer ervaring resulteerde in betere OSCE-scores voor de overgrote meerderheid, gold dit niet voor 20% van het cohort, ondanks verbeteringen in jaar 3. Verder onderzoek toonde aan dat de OSCE’s in het laatste jaar plaatsvonden op hetzelfde moment als het afstudeerproject, wat een goed voorbeeld is van systeemgerelateerde invloeden op het vermogen van studenten om te presteren in klinische examens. Deze bevinding wordt gedeeltelijk ondersteund door de vergelijking van jaar 1 met jaar 3, waarin dergelijke conflicten niet voorkwamen en 100% van de studenten een verbetering liet zien ten opzichte van hun eerstejaarscijfer. Andere mogelijke factoren die van invloed zijn op de beoordelingsprestaties in jaar 4 zijn de persoonlijke externe druk die door individuele studenten wordt ervaren en de toegenomen complexiteit van de OSCE’s in jaar 4. De relatief kleine bijdrage van de OSCE’s aan het totaalcijfer voor het cursuswerk in verband met OSCE’s in jaar 4 kan ook onbelangrijk hebben geleken voor een klein aantal studenten, en dit kan invloed hebben gehad op hoeveel moeite deze studenten in de voorbereiding hebben gestoken. Hoewel er anekdotisch bewijs is om deze hypothese te ondersteunen, is er meer onderzoek nodig voordat definitieve conclusies kunnen worden getrokken over de invloed van de houding ten opzichte van OSCE’s op de prestaties in OSCE’s.