PMC
DISCUȚII
Aceste cifre sugerează că tendința observată a membrilor facultății de a umfla notele OSCE13 nu pare să fie valabilă pentru UH. Se crede că lipsa unei corelații este rezultatul fie al faptului că unii studenți au obținut rezultate mai bune la OSCE-uri decât la examenul MPP3, fie că unii studenți au obținut rezultate mai bune la examenul MPP3 decât la OSCE-uri.
Analiza graficului de corelație (Figura 1) arată cazuri ale ambelor scenarii posibile. Studenții’ ale căror scoruri au fost semnificativ deasupra liniei de tendință au avut performanțe mai bune la examenele MPP3 decât la OSCE; cei care s-au situat sub linia de tendință au avut performanțe mai bune la OSCE decât la examenul MPP3. Aceste diferențe pot fi atribuite seturilor diferite de competențe pe care OSCE-urile și examenul MPP3 au fost concepute pentru a le testa.
Examenul MPP3 este un examen scris tradițional care constă într-o serie de întrebări cu alegere multiplă și eseuri. Acesta evaluează în principal cele mai mici niveluri de competență din piramida lui Miller – „știe” și „știe cum”. Deși OSCE-urile pot fi, de asemenea, utilizate pentru a evalua cele 2 niveluri inferioare ale piramidei16 , punctul lor forte ca instrument de evaluare este că pot evalua și nivelurile superioare („arată cum” și, într-o anumită măsură, „face”), care sunt cele mai importante pentru a obține o înțelegere a competenței clinice reale. Deși există dovezi care susțin premisa că o bază solidă de cunoștințe va îmbunătăți competența clinică,16 nu ar trebui să se aștepte o corelație între examenul MPP3 și performanța OSCE de nivel 3, deoarece evaluările măsoară 2 capacități distincte.
Modelul Cambridge17 de evaluare a competenței extinde modelul de competență al lui Miller prin examinarea mai detaliată a celor 2 niveluri superioare ale piramidei lui Miller. Acest model, care ia în considerare influența mediului și a circumstanțelor specifice individuale asupra competenței și performanței, este util atunci când se raționalizează rezultatele analizei statistice.
Este posibil ca studenții să aibă performanțe slabe la OSCE în raport cu performanțele lor la examenul MPP3 din cauza incapacității lor de a face față naturii stresante a evaluării cu stații multiple. Trecerea de la o stație la alta la intervale de 5 minute poate să nu le ofere unor studenți suficient timp pentru a-și reveni după o performanță slabă la o stație anterioară, ceea ce duce la o performanță generală slabă. Mai multe studii arată că o performanță slabă la un examen OSCE nu este un indiciu al lipsei de competență a unui student.18-20 Optsprezece studenți au avut performanțe net superioare la examenul scris MPP3 decât la OSCE (figura 1). Această constatare poate fi atribuită capacității lor de a gestiona stresul unui examen scris mai familiar în comparație cu cel al OSCE-urilor relativ necunoscute (adică o influență legată de sistem). Un alt factor posibil este importanța asociată cu promovarea examenului MPP3, care este necesar pentru a progresa în ultimul an al programului de studii universitare de licență. În schimb, promovarea OSCE-urilor nu este crucială pentru avansare (adică, studenții pot avea performanțe slabe la această componentă, dar pot avansa totuși datorită creditelor obținute în altă parte. Cunoașterea faptului că promovarea OSCE-urilor nu este esențială pentru progresie poate avea un impact asupra atitudinii studenților față de evaluare (influență referitoare la o persoană), determinându-i pe unii să nu se pregătească la fel de temeinic pentru OSCE-uri cum ar face-o pentru examenul MPP3. Deși există dovezi anecdotice că această ipoteză este valabilă pentru un număr mic de studenți, sunt necesare cercetări suplimentare înainte de a se putea trage concluzii concrete cu privire la impactul acestei atitudini asupra performanței.
Cum studiile au arătat că performanța la OSCE-uri nu este neapărat un indicator de competență,18-20 considerăm că succesul studenților la acest element individual nu este crucial pentru progresia spre o diplomă. Acest lucru se datorează în mare parte faptului că o performanță slabă care rezultă din factori externi, spre deosebire de lipsa de capacitate, ar putea împiedica un student altfel capabil să treacă la următoarea etapă a programului. În mod evident, această problemă ar putea fi ameliorată prin desfășurarea mai multor OSCE-uri sumative pe parcursul unui an, deoarece performanțele obținute în cadrul unei serii de OSCE-uri ar permite membrilor personalului să evalueze cu mai multă acuratețe competența fiecărui student în parte. Cu toate acestea, nu este fezabil să se ofere studenților individuali mai multe încercări de a trece un OSCE într-un singur an, din cauza faptului că aceste examene necesită multe resurse. Având în vedere costul OSCE-urilor și inconsecvența lor în măsurarea precisă a competenței clinice, s-ar putea argumenta eliminarea lor din program ca mijloc de evaluare, chiar dacă acest lucru ar însemna să se bazeze exclusiv pe performanța studenților la examenele tradiționale (de exemplu, MPP3) ca măsură pentru progresie. Cu toate acestea, această cercetare arată că corelația dintre performanța la examenele tradiționale și performanța la OSCE este slabă, ceea ce sugerează că evaluările examinează abilități diferite. Prin urmare, susținem utilizarea în continuare a examenelor tradiționale împreună cu OSCE-urile în formarea studenților la farmacie.
Există o așteptare generală conform căreia o creștere a experienței va duce la o creștere concomitentă a abilităților clinice și, ca o consecință, a notelor la OSCE.10,12,13 Pentru a evalua măsura în care această ipoteză s-a menținut pentru cohorta din 2009, am comparat realizările relative ale indivizilor la OSCE-urile din anii 1, 3 și 4 ai programului de licență. Deși creșterea experienței a dus la îmbunătățirea notelor la OSCE pentru marea majoritate, acest lucru nu a fost valabil pentru 20% din cohortă, în ciuda îmbunătățirilor din anul 3. O investigație suplimentară a relevat faptul că OSCE-urile din ultimul an au avut loc în același timp cu predarea disertației proiectului de final de an, ceea ce reprezintă un prim exemplu de influențe legate de sistem care influențează capacitatea studenților de a performa în cadrul examenelor clinice. Această constatare este susținută parțial de comparația dintre anul 1 și anul 3, în care nu au existat astfel de conflicte și 100% dintre studenți au prezentat îmbunătățiri față de nota din primul an. Alți factori posibili care influențează performanța evaluării din anul 4 includ presiunile externe personale resimțite de fiecare student în parte și complexitatea crescută a OSCE-urilor din anul 4. Contribuția relativ mică a OSCE-urilor la nota generală pentru lucrările de curs asociate cu OSCE-urile din anul 4 poate, de asemenea, să fi părut neimportantă pentru un număr mic de studenți, iar acest lucru poate să fi avut un impact asupra efortului pe care acești studenți l-au investit în pregătire. Deși există dovezi anecdotice care susțin această ipoteză, este nevoie de mai multe cercetări înainte de a se putea ajunge la concluzii definitive cu privire la impactul atitudinii față de OSCE-uri asupra performanței la OSCE-uri.
.