PMC
DISCUSSIONE
Queste cifre suggeriscono che il pregiudizio osservato per i membri della facoltà di gonfiare i voti OSCE13 non sembra essere valido per la UH. Si pensa che la mancanza di una correlazione sia il risultato o di alcuni studenti che hanno ottenuto risultati migliori nelle loro OSCE che nel loro esame MPP3, o di alcuni studenti che hanno ottenuto risultati migliori nell’esame MPP3 che nelle loro OSCE.
L’analisi del grafico di correlazione (Figura 1) mostra casi di entrambi i possibili scenari. Gli studenti i cui punteggi erano significativamente al di sopra della linea di tendenza hanno ottenuto risultati migliori nei loro esami MPP3 che nelle loro OSCE; quelli sotto la linea di tendenza hanno ottenuto risultati migliori nelle loro OSCE che nel loro esame MPP3. Queste differenze possono essere attribuibili ai diversi set di abilità che le OSCE e l’esame MPP3 sono stati progettati per testare.
L’esame MPP3 è un esame scritto tradizionale composto da una serie di domande a scelta multipla e saggio. Valuta principalmente i livelli più bassi di competenza della piramide di Miller – “sa” e “sa come”. Mentre gli OSCE possono anche essere usati per valutare i 2 livelli più bassi della piramide,16 la loro forza come strumento di valutazione è che possono anche valutare i livelli più alti (“mostra come” e, in qualche misura, “fa”) che sono i più importanti per ottenere una comprensione della reale competenza clinica. Anche se ci sono prove a sostegno della premessa che una forte base di conoscenze migliorerà la competenza clinica,16 non ci si deve aspettare una correlazione tra l’esame MPP3 e le prestazioni OSCE di livello 3 perché le valutazioni misurano due capacità distinte.
Il modello Cambridge17 per la valutazione della competenza si espande sul modello di competenza di Miller esaminando i primi 2 livelli della Piramide di Miller in modo più dettagliato. Questo modello, che tiene conto dell’influenza dell’ambiente e delle circostanze specifiche dell’individuo sulla competenza e sulle prestazioni, è utile quando si razionalizzano i risultati dell’analisi statistica.
Gli studenti possono avere prestazioni scadenti nelle OSCE rispetto alle loro prestazioni nell’esame MPP3 a causa della loro incapacità di far fronte alla natura stressante della valutazione a stazioni multiple. Spostarsi da una stazione all’altra a intervalli di 5 minuti può non dare ad alcuni studenti abbastanza tempo per recuperare da una cattiva prestazione in una stazione precedente, con conseguente scarso rendimento complessivo. Diversi studi dimostrano che le scarse prestazioni in un esame OSCE non sono indicative della mancanza di competenza di uno studente.18-20 Diciotto studenti hanno ottenuto risultati nettamente migliori nel loro esame scritto MPP3 che nelle loro OSCE (Figura 1). Questo risultato può essere attribuibile alla loro capacità di gestire lo stress di un esame scritto più familiare rispetto a quello delle OSCE relativamente poco conosciute (cioè, un’influenza relativa al sistema). Un altro possibile fattore è l’importanza associata al superamento dell’esame MPP3, che è richiesto per avanzare all’ultimo anno del programma di laurea. Al contrario, il superamento degli OSCE non è cruciale per la progressione (vale a dire, gli studenti possono avere risultati scadenti in questa componente ma comunque progredire a causa dei crediti guadagnati altrove. La consapevolezza che il superamento delle OSCE non è fondamentale per la progressione può influenzare l’atteggiamento degli studenti verso la valutazione (influenza relativa a un individuo), inducendo alcuni a non prepararsi così accuratamente per le OSCE come farebbero per l’esame MPP3. Mentre ci sono prove aneddotiche che questa ipotesi è vera per un piccolo numero di studenti, sono necessarie ulteriori ricerche prima di poter trarre conclusioni concrete sull’impatto di questo atteggiamento sulla performance.
Come gli studi hanno dimostrato che la performance nelle OSCE non è necessariamente un indicatore di competenza,18-20 riteniamo che il successo degli studenti in questo elemento individuale non sia cruciale per la progressione verso una laurea. Questo è in gran parte dovuto al fatto che una scarsa performance derivante da fattori esterni, in contrapposizione alla mancanza di abilità, potrebbe impedire a uno studente altrimenti capace di passare alla fase successiva del programma. Ovviamente, questo problema potrebbe essere migliorato eseguendo OSCE sommative più di una volta durante un dato anno, in quanto le prestazioni su una serie di OSCE consentirebbe ai membri dello staff di valutare più accuratamente la competenza dei singoli studenti. Tuttavia, non è possibile dare ai singoli studenti più tentativi di superare un OSCE in ogni singolo anno a causa della natura ad alta intensità di risorse di questi esami. Dato il costo delle OSCE e la loro incoerenza nel misurare accuratamente la competenza clinica, si potrebbe argomentare per eliminarle dal programma come mezzo di valutazione, anche se così facendo significherebbe fare affidamento solo sulle prestazioni degli studenti nei loro esami tradizionali (ad esempio, MPP3) come metrica per la progressione. Questa ricerca, tuttavia, mostra che la correlazione tra le prestazioni negli esami tradizionali rispetto alle prestazioni in OSCE è debole, suggerendo che le valutazioni esaminano competenze diverse. Quindi, sosteniamo l’uso continuato degli esami tradizionali insieme alle OSCE nella formazione degli studenti di farmacia.
C’è un’aspettativa generale che un aumento dell’esperienza porti a un concomitante aumento dell’abilità clinica e, di conseguenza, dei voti OSCE.10,12,13 Per valutare la misura in cui questa ipotesi si è mantenuta per la coorte del 2009, abbiamo confrontato i risultati relativi degli individui nelle OSCE al primo, terzo e quarto anno del programma universitario. Sebbene l’aumento dell’esperienza abbia portato a un miglioramento dei voti OSCE per la stragrande maggioranza, questo non è stato vero per il 20% della coorte, nonostante i miglioramenti al 3° anno. Ulteriori indagini hanno rivelato che le OSCE dell’ultimo anno hanno avuto luogo nello stesso momento in cui la dissertazione del progetto dell’ultimo anno era dovuta, che è un primo esempio di influenze legate al sistema che influenzano la capacità degli studenti di eseguire gli esami clinici. Questa constatazione è supportata in parte dal confronto tra l’anno 1 e l’anno 3, dove non ci sono stati tali conflitti e il 100% degli studenti ha mostrato un miglioramento rispetto al loro punteggio del primo anno. Altri possibili fattori che influenzano le prestazioni di valutazione dell’anno 4 includono pressioni esterne personali sperimentate dai singoli studenti e la maggiore complessità delle OSCE dell’anno 4. Il contributo relativamente piccolo delle OSCE al voto complessivo per il lavoro di corso associato alle OSCE del quarto anno può anche essere sembrato poco importante per un piccolo numero di studenti, e questo può aver influito su quanto sforzo questi studenti hanno investito nella preparazione. Anche se ci sono prove aneddotiche a sostegno di questa ipotesi, sono necessarie ulteriori ricerche prima di poter raggiungere conclusioni definitive sull’impatto dell’atteggiamento verso le OSCE sul rendimento nelle OSCE.