PMC
DISCUSSION
Nämä luvut viittaavat siihen, että tiedekunnan jäsenten havaittu taipumus paisuttaa OSCE-arvosanoja13 ei näytä pitävän paikkansa UH:ssa. Korrelaation puuttumisen ajatellaan johtuvan siitä, että joko jotkut opiskelijat suoriutuivat Etyjistä paremmin kuin MPP3-tutkinnosta tai jotkut opiskelijat suoriutuivat MPP3-tutkinnosta paremmin kuin Etyjistä.
Korrelaatiokuvion (kuvio 1) analyysi osoittaa tapauksia molemmista mahdollisista skenaarioista. Opiskelijat, joiden pisteet olivat merkittävästi trendiviivan yläpuolella, suoriutuivat MPP3-tutkinnosta paremmin kuin Etyj-tutkinnosta; trendiviivan alapuolella olevat opiskelijat suoriutuivat Etyj-tutkinnosta paremmin kuin MPP3-tutkinnosta. Nämä erot voivat johtua siitä, että Etyj-kokeet ja MPP3-tutkinto on suunniteltu testaamaan erilaisia taitoja.
MPP3-tutkinto on perinteinen kirjallinen koe, joka koostuu monivalintakysymyksistä ja esseekysymyksistä. Siinä arvioidaan ensisijaisesti Millerin pyramidin alimpia osaamistasoja – ”tietää” ja ”osaa”. Vaikka Etyj-kokeilla voidaan arvioida myös pyramidin kahta alempaa tasoa16 , niiden vahvuus arviointivälineenä on se, että niillä voidaan arvioida myös ylempiä tasoja (”näyttää miten” ja jossain määrin ”tekee”), jotka ovat tärkeimpiä, kun halutaan saada käsitys todellisesta kliinisestä osaamisesta. Vaikka on näyttöä siitä, että vahva tietopohja parantaa kliinistä pätevyyttä,16 MPP3-tutkinnon ja tason 3 OSCE-suorituksen välillä ei ole odotettavissa korrelaatiota, koska arvioinnit mittaavat kahta erilaista kykyä.
Cambridgen osaamisen arviointimalli17 laajentaa Millerin osaamismallia tarkastelemalla Millerin pyramidin kahta ylimpää tasoa tarkemmin. Tämä malli, jossa otetaan huomioon yksilökohtaisen ympäristön ja olosuhteiden vaikutus osaamiseen ja suoritukseen, on hyödyllinen järkeistettäessä tilastollisen analyysin tuloksia.
Opiskelijat saattavat suoriutua Etyjissä huonommin kuin he suoriutuvat MPP3-tutkinnosta, koska he eivät kykene selviytymään moniportaisen arvioinnin stressaavasta luonteesta. Siirtyminen asemalta toiselle 5 minuutin välein ei ehkä anna joillekin opiskelijoille riittävästi aikaa toipua edellisen aseman huonosta suorituksesta, mikä johtaa huonoon kokonaissuoritukseen. Useat tutkimukset osoittavat, että huono suoritus Etyj-kokeessa ei ole osoitus opiskelijan puutteellisesta osaamisesta.18-20 Kahdeksantoista opiskelijaa suoriutui selvästi paremmin kirjallisesta MPP3-kokeesta kuin Etyj-kokeesta (kuva 1). Tämä havainto voi johtua siitä, että he pystyivät käsittelemään tutumman kirjallisen kokeen aiheuttamaa stressiä verrattuna suhteellisen tuntemattomiin Etyj-kokeisiin (eli järjestelmään liittyvästä vaikutuksesta). Toinen mahdollinen tekijä on MPP3-tutkinnon läpäisyyn liittyvä tärkeys, joka on edellytyksenä perustutkinto-ohjelman viimeiselle vuodelle etenemiselle. Sitä vastoin Etyj-kokeiden läpäisy ei ole ratkaisevaa etenemisen kannalta (eli opiskelijat voivat suoriutua huonosti tästä osa-alueesta, mutta silti edetä muualla hankittujen opintopisteiden ansiosta). Tieto siitä, että OSCE-kokeiden läpäiseminen ei ole ratkaisevaa etenemisen kannalta, saattaa vaikuttaa opiskelijoiden asenteisiin arviointia kohtaan (yksilöön liittyvä vaikutus), jolloin jotkut eivät valmistaudu OSCE-kokeisiin yhtä perusteellisesti kuin MPP3-kokeeseen. Vaikka on anekdoottista näyttöä siitä, että tämä hypoteesi pitää paikkansa pienen joukon opiskelijoiden kohdalla, tarvitaan lisätutkimuksia, ennen kuin voidaan tehdä konkreettisia johtopäätöksiä tämän asenteen vaikutuksesta suoritukseen.
Koska tutkimukset ovat osoittaneet, että OSCE-kokeissa suoriutuminen ei välttämättä ole osaamisen indikaattori,18-20 katsomme, että opiskelijan menestyminen tässä yksittäisessä osatekijässä ei ole ratkaisevaa tutkintoon etenemisen kannalta. Tämä johtuu suurelta osin siitä, että ulkoisista tekijöistä johtuva huono suoritus, joka ei johdu kyvyttömyydestä, voi estää muuten kyvykästä opiskelijaa etenemästä ohjelman seuraavaan vaiheeseen. On selvää, että tätä ongelmaa voitaisiin lieventää järjestämällä summatiivisia Etyj-kokeita useammin kuin kerran vuoden aikana, sillä useiden Etyj-kokeiden aikana suoritetut suoritukset antaisivat henkilökunnalle mahdollisuuden arvioida tarkemmin yksittäisten opiskelijoiden pätevyyttä. Ei kuitenkaan ole mahdollista antaa yksittäisille opiskelijoille useita yrityksiä läpäistä Etyjiä yhden vuoden aikana, koska nämä kokeet vievät paljon resursseja. Kun otetaan huomioon Etyj-kokeiden kustannukset ja niiden epäjohdonmukaisuus kliinisen pätevyyden tarkassa mittaamisessa, voitaisiin perustella niiden poistamista ohjelmasta arviointikeinona, vaikka se tarkoittaisi, että etenemisen mittarina käytettäisiin ainoastaan opiskelijoiden suorituksia perinteisissä kokeissa (esim. MPP3). Tämä tutkimus kuitenkin osoittaa, että perinteisissä kokeissa ja Etyjissä saavutetun suorituksen välinen korrelaatio on heikko, mikä viittaa siihen, että arvioinneissa tarkastellaan eri taitoja. Näin ollen kannatamme perinteisten kokeiden jatkuvaa käyttöä yhdessä Etyj-kokeiden kanssa farmasian opiskelijoiden koulutuksessa.
Yleisesti oletetaan, että kokemuksen lisääntyminen johtaa kliinisten taitojen ja sen seurauksena Etyj-arvosanojen samanaikaiseen lisääntymiseen.10,12,13 Arvioidaksemme, missä määrin tämä oletus piti paikkansa vuoden 2009 kohortin kohdalla, vertasimme henkilöiden suhteellisia suorituksia Etyj-kokeissa perustutkinto-opiskeluvuosien 1, 3 ja 4 aikana. Vaikka kokemuksen lisääntyminen johti OSCE-arvosanojen paranemiseen suurimmalla osalla, tämä ei pitänyt paikkaansa 20 prosentilla kohortista huolimatta parannuksista vuonna 3. Tarkemmat tutkimukset osoittivat, että viimeisen vuoden Etyj-kokeet pidettiin samaan aikaan, kun viimeisen vuoden projektityö oli määrä jättää, mikä on hyvä esimerkki järjestelmään liittyvistä vaikutuksista, jotka vaikuttavat opiskelijoiden kykyyn suoriutua kliinisistä kokeista. Tätä havaintoa tukee osittain vuoden 1 ja vuoden 3 vertailu, jossa tällaisia ristiriitoja ei ollut ja 100 prosenttia opiskelijoista paransi tulostaan ensimmäisen vuoden tuloksiin verrattuna. Muita mahdollisia vuoden 4 arviointisuoritukseen vaikuttavia tekijöitä ovat yksittäisten opiskelijoiden kokemat henkilökohtaiset ulkoiset paineet ja vuoden 4 Etyj-kokeiden lisääntynyt monimutkaisuus. Etyjin suhteellisen pieni osuus vuoden 4 Etyjiin liittyvien kurssitöiden kokonaisarvosanasta saattoi myös tuntua merkityksettömältä pienestä määrästä opiskelijoita, ja tämä saattoi vaikuttaa siihen, kuinka paljon vaivaa nämä opiskelijat panostivat valmistautumiseen. Vaikka tämän hypoteesin tueksi on olemassa anekdoottista näyttöä, tarvitaan lisää tutkimusta, ennen kuin voidaan tehdä lopullisia johtopäätöksiä siitä, miten asenteet Etyjiä kohtaan vaikuttavat Etyjissä suoriutumiseen.