PMC
DISCUSIÓN
Estas cifras sugieren que el sesgo observado por los miembros del profesorado para inflar las calificaciones de los OSCE13 no parece mantenerse en la UH. Se cree que la falta de correlación es el resultado de que, o bien algunos estudiantes obtuvieron mejores resultados en sus OSCE que en su examen MPP3, o bien algunos estudiantes obtuvieron mejores resultados en el examen MPP3 que en sus OSCE.
El análisis del gráfico de correlación (Figura 1) muestra casos de ambos escenarios posibles. Los estudiantes cuyas puntuaciones estaban significativamente por encima de la línea de tendencia obtuvieron mejores resultados en sus exámenes MPP3 que en sus OSCE; los que estaban por debajo de la línea de tendencia obtuvieron mejores resultados en sus OSCE que en su examen MPP3. Estas diferencias pueden atribuirse a los diferentes conjuntos de habilidades que los OSCE y el examen MPP3 fueron diseñados para evaluar.
El examen MPP3 es un examen escrito tradicional que consiste en una serie de preguntas de opción múltiple y de ensayo. Evalúa principalmente los niveles más bajos de competencia de la pirámide de Miller: «sabe» y «sabe cómo». Aunque los OSCE también pueden utilizarse para evaluar los dos niveles inferiores de la pirámide,16 su fuerza como herramienta de evaluación es que también pueden evaluar los niveles superiores («muestra cómo» y, hasta cierto punto, «hace») que son los más importantes para obtener una comprensión de la competencia clínica real. Aunque hay pruebas que apoyan la premisa de que una sólida base de conocimientos mejorará la competencia clínica,16 no cabe esperar una correlación entre el examen MPP3 y el rendimiento del nivel 3 de la OSCE, ya que las evaluaciones miden dos capacidades distintas.
El Modelo de Cambridge17 para evaluar la competencia amplía el modelo de Miller de la competencia examinando los dos niveles superiores de la Pirámide de Miller con mayor detalle. Este modelo, que tiene en cuenta la influencia del entorno y las circunstancias específicas del individuo en la competencia y el rendimiento, es útil a la hora de racionalizar los resultados del análisis estadístico.
Los estudiantes pueden tener un bajo rendimiento en los OSCE en relación con su rendimiento en el examen MPP3 debido a su incapacidad para hacer frente a la naturaleza estresante de la evaluación de múltiples estaciones. Pasar de una estación a otra en intervalos de 5 minutos puede no dar a algunos estudiantes el tiempo suficiente para recuperarse de un mal desempeño en una estación anterior, lo que resulta en un mal desempeño general. Varios estudios demuestran que un mal rendimiento en un examen OSCE no es indicativo de la falta de competencia de un estudiante.18-20 Dieciocho estudiantes tuvieron un rendimiento notablemente mejor en su examen MPP3 escrito que en sus OSCE (Figura 1). Este hallazgo puede atribuirse a su capacidad para manejar el estrés de un examen escrito más familiar en comparación con el de los OSCE relativamente desconocidos (es decir, una influencia relacionada con el sistema). Otro posible factor es la importancia asociada a la aprobación del examen MPP3, que es necesario para pasar al último año del programa de licenciatura. En cambio, aprobar los exámenes OSCE no es crucial para la progresión (es decir, los estudiantes pueden tener un mal rendimiento en este componente pero seguir avanzando gracias a los créditos obtenidos en otros ámbitos). El conocimiento de que aprobar los OSCE no es crucial para la progresión puede afectar a las actitudes de los estudiantes hacia la evaluación (influencia relativa a un individuo), haciendo que algunos no se preparen tan a fondo para los OSCE como lo harían para el examen MPP3. Aunque hay pruebas anecdóticas de que esta hipótesis es cierta para un pequeño número de estudiantes, se necesita más investigación antes de poder sacar conclusiones concretas sobre el impacto de esta actitud en el rendimiento.
Como los estudios han demostrado que el rendimiento en las OSCE no es necesariamente un indicador de competencia,18-20 creemos que el éxito de los estudiantes en este elemento individual no es crucial para la progresión hacia una titulación. Esto se debe en gran medida a que un mal rendimiento resultante de factores externos, en contraposición a la falta de capacidad, podría impedir que un estudiante, por lo demás capaz, pasara a la siguiente fase del programa. Obviamente, este problema podría mejorarse realizando las pruebas OSCE sumativas más de una vez durante un año determinado, ya que el rendimiento en una serie de OSCE permitiría a los miembros del personal evaluar con mayor precisión la competencia de los estudiantes individuales. Sin embargo, no es posible ofrecer a los estudiantes varios intentos de aprobar una OSCE en un mismo año debido a la gran cantidad de recursos que requieren estos exámenes. Dado el coste de los OSCE y su incoherencia a la hora de medir con precisión la competencia clínica, se podría argumentar a favor de eliminarlos del programa como medio de evaluación, aunque hacerlo significaría depender únicamente del rendimiento de los estudiantes en sus exámenes tradicionales (por ejemplo, el MPP3) como métrica para la progresión. Esta investigación, sin embargo, muestra que la correlación entre el rendimiento en los exámenes tradicionales y el rendimiento en los OSCE es débil, lo que sugiere que las evaluaciones examinan habilidades diferentes. Por lo tanto, abogamos por el uso continuado de los exámenes tradicionales junto con los OSCE en la formación de los estudiantes de farmacia.
Hay una expectativa general de que un aumento en la experiencia conducirá a un aumento concomitante en la capacidad clínica y, como consecuencia, en las calificaciones de los OSCE.10,12,13 Para evaluar hasta qué punto esta suposición se mantuvo para la cohorte de 2009, comparamos los logros relativos de los individuos en los OSCE en los años 1, 3 y 4 del programa de pregrado. Aunque el aumento de la experiencia dio lugar a una mejora en las calificaciones de la OSCE para la gran mayoría, esto no fue así para el 20% de la cohorte, a pesar de las mejoras en el tercer año. Una investigación más profunda reveló que las OSCE del último año tuvieron lugar al mismo tiempo que la disertación del proyecto del último año, lo que es un ejemplo excelente de las influencias relacionadas con el sistema que afectan a la capacidad de los estudiantes para rendir en los exámenes clínicos. Esta conclusión se ve respaldada en parte por la comparación del primer año con el tercero, en el que no se produjeron tales conflictos y el 100% de los estudiantes mostraron una mejora con respecto a la nota del primer año. Otros posibles factores que afectan al rendimiento de la evaluación del cuarto año son las presiones externas personales experimentadas por los estudiantes y la mayor complejidad de los OSCE del cuarto año. La contribución relativamente pequeña de las OSCE a la calificación general del trabajo de curso asociado a las OSCE del año 4 también puede haber parecido poco importante para un pequeño número de estudiantes, y esto puede haber influido en el esfuerzo que estos estudiantes invirtieron en la preparación. Aunque hay pruebas anecdóticas que apoyan esta hipótesis, se necesita más investigación antes de llegar a conclusiones definitivas sobre el impacto de la actitud hacia los OSCE en el rendimiento en los OSCE.