PMC
DISCUSSION
Ces chiffres suggèrent que le biais observé pour que les membres du corps enseignant gonflent les notes des ECOS13 ne semble pas se vérifier à l’UH. On pense que l’absence de corrélation résulte soit du fait que certains étudiants ont obtenu de meilleurs résultats à leurs ECOS qu’à leur examen MPP3, soit que certains étudiants ont obtenu de meilleurs résultats à l’examen MPP3 qu’à leurs ECOS.
L’analyse du graphique de corrélation (figure 1) montre des cas des deux scénarios possibles. Les étudiants dont les scores étaient significativement supérieurs à la ligne de tendance ont obtenu de meilleurs résultats à leurs examens MPP3 qu’à leurs ECOS ; ceux dont les scores étaient inférieurs à la ligne de tendance ont obtenu de meilleurs résultats à leurs ECOS qu’à leur examen MPP3. Ces différences peuvent être attribuables aux différents ensembles de compétences que les ECOS et l’examen MPP3 ont été conçus pour tester.
L’examen MPP3 est un examen écrit traditionnel composé d’une série de questions à choix multiples et à développement. Il évalue principalement les niveaux de compétence les plus bas de la pyramide de Miller – « sait » et « sait comment ». Si les ECOS peuvent également être utilisés pour évaluer les deux niveaux inférieurs de la pyramide16, leur force en tant qu’outil d’évaluation réside dans le fait qu’ils peuvent également évaluer les niveaux supérieurs (« montre comment » et, dans une certaine mesure, « fait ») qui sont les plus importants pour comprendre la compétence clinique réelle. Bien qu’il existe des preuves pour soutenir la prémisse selon laquelle une base de connaissances solide améliorera la compétence clinique16, il ne faut pas s’attendre à une corrélation entre l’examen MPP3 et la performance de l’ECOS de niveau 3, car les évaluations mesurent 2 capacités distinctes.
Le modèle de Cambridge17 pour l’évaluation de la compétence développe le modèle de Miller en examinant plus en détail les 2 niveaux supérieurs de la pyramide de Miller. Ce modèle, qui tient compte de l’influence de l’environnement et des circonstances propres à chaque individu sur la compétence et la performance, est utile pour rationaliser les résultats de l’analyse statistique.
Les étudiants peuvent obtenir de mauvais résultats aux ECOS par rapport à leur performance à l’examen MPP3 en raison de leur incapacité à faire face à la nature stressante de l’évaluation à stations multiples. Le fait de passer d’une station à l’autre à intervalles de 5 minutes peut ne pas donner à certains étudiants suffisamment de temps pour se remettre d’une mauvaise performance à une station précédente, ce qui entraîne une mauvaise performance globale. Plusieurs études montrent qu’une mauvaise performance lors d’un examen ECOS n’indique pas un manque de compétence de la part de l’étudiant.18-20 Dix-huit étudiants ont obtenu des résultats nettement meilleurs lors de leur examen écrit MPP3 que lors de leurs ECOS (Figure 1). Cette constatation peut être attribuée à leur capacité à gérer le stress d’un examen écrit plus familier par rapport à celui des ECOS relativement peu familiers (c’est-à-dire une influence liée au système). Un autre facteur possible est l’importance associée à la réussite de l’examen MPP3, qui est nécessaire pour passer à la dernière année du programme de premier cycle. En revanche, la réussite des ECOS n’est pas cruciale pour la progression (c’est-à-dire que les étudiants peuvent avoir de mauvais résultats dans cette composante mais progresser quand même grâce aux crédits obtenus ailleurs). Le fait de savoir que la réussite des ECOS n’est pas essentielle à la progression peut influer sur l’attitude des étudiants à l’égard de l’évaluation (influence relative à un individu), ce qui fait que certains ne se préparent pas aussi minutieusement aux ECOS qu’ils le feraient pour l’examen MPP3. Bien qu’il existe des preuves anecdotiques que cette hypothèse se vérifie pour un petit nombre d’étudiants, des recherches supplémentaires sont nécessaires avant de pouvoir tirer des conclusions concrètes concernant l’impact de cette attitude sur la performance.
Comme les études ont montré que la performance aux ECOS n’est pas nécessairement un indicateur de compétence,18-20 nous estimons que la réussite des étudiants à cet élément individuel n’est pas cruciale pour la progression vers un diplôme. Cela est dû en grande partie au fait qu’une mauvaise performance résultant de facteurs externes, par opposition à un manque de capacité, pourrait empêcher un étudiant par ailleurs capable de passer à l’étape suivante du programme. De toute évidence, ce problème pourrait être amélioré en organisant des ECOS sommatifs plus d’une fois au cours d’une année donnée, car les résultats obtenus lors d’une série d’ECOS permettraient aux membres du personnel d’évaluer plus précisément la compétence de chaque étudiant. Cependant, il n’est pas possible de donner à chaque étudiant plusieurs tentatives pour passer un ECOS au cours d’une même année en raison de la nature intensive des ressources de ces examens. Étant donné le coût des ECOS et leur manque de précision dans la mesure des compétences cliniques, on pourrait argumenter en faveur de leur élimination du programme en tant que moyen d’évaluation, même si cela signifierait que l’on se fie uniquement à la performance des étudiants dans leurs examens traditionnels (p. ex. MPP3) comme mesure de progression. Cette recherche montre toutefois que la corrélation entre la performance aux examens traditionnels et la performance aux ECOS est faible, ce qui suggère que les évaluations portent sur des compétences différentes. Par conséquent, nous préconisons l’utilisation continue des examens traditionnels en conjonction avec les ECOS dans la formation des étudiants en pharmacie.
On s’attend généralement à ce qu’une augmentation de l’expérience entraîne une augmentation concomitante de la capacité clinique et, par conséquent, des notes des ECOS.10,12,13 Pour évaluer dans quelle mesure cette hypothèse s’est vérifiée pour la cohorte 2009, nous avons comparé les résultats relatifs des individus aux ECOS aux années 1, 3 et 4 du programme de premier cycle. Bien que l’augmentation de l’expérience ait entraîné une amélioration des notes de l’ECOS pour la grande majorité, cela n’a pas été le cas pour 20 % de la cohorte, malgré des améliorations au cours de la troisième année. Une enquête plus poussée a révélé que les ECOS de dernière année avaient lieu en même temps que la remise du mémoire de projet de dernière année, ce qui est un excellent exemple des influences liées au système qui ont un impact sur la capacité des étudiants à effectuer des examens cliniques. Cette constatation est confirmée en partie par la comparaison entre la première et la troisième année, où il n’y avait pas de tels conflits et où 100 % des étudiants ont montré une amélioration par rapport à leur note de première année. Parmi les autres facteurs susceptibles d’affecter les résultats de l’évaluation de la quatrième année, citons les pressions externes personnelles subies par les étudiants et la complexité accrue des ECOS de la quatrième année. La contribution relativement faible des ECOS à la note globale du travail de cours associé aux ECOS de 4e année peut également avoir semblé sans importance à un petit nombre d’étudiants, ce qui peut avoir eu un impact sur l’effort que ces étudiants ont investi dans la préparation. Bien que des preuves anecdotiques appuient cette hypothèse, d’autres recherches sont nécessaires avant de pouvoir tirer des conclusions définitives concernant l’impact de l’attitude envers les ECOS sur la performance aux ECOS.