PMC
DISCUSSÃO
Estes números sugerem que o viés observado para os membros do corpo docente inflarem os graus OSCE13 não parece ser válido para UH. Pensa-se que a falta de uma correlação é resultado ou de alguns estudantes terem melhor desempenho nas suas OSCEs do que no seu exame MPP3, ou de alguns estudantes terem melhor desempenho no exame MPP3 do que nas suas OSCEs.
Análise do gráfico de correlação (Figura 1) mostra exemplos de ambos os cenários possíveis. Os alunos cujos resultados estavam significativamente acima da linha de tendência tiveram melhor desempenho nos seus exames MPP3 do que nos seus OSCEs; aqueles abaixo da linha de tendência tiveram melhor desempenho nos seus OSCEs do que nos seus exames MPP3. Estas diferenças podem ser atribuídas aos diferentes conjuntos de competências que as OSCEs e o exame MPP3 foram concebidos para testar.
O exame MPP3 é um exame escrito tradicional constituído por uma série de perguntas de escolha múltipla e de ensaio. Avalia principalmente os níveis mais baixos de competência da pirâmide de Miller – “sabe” e “sabe como”. Embora as OSCE também possam ser usadas para avaliar os 2 níveis inferiores da pirâmide,16 a sua força como ferramenta de avaliação é que também podem avaliar os níveis superiores (“mostra como” e, até certo ponto, “faz”), que são os mais importantes para se obter uma compreensão da competência clínica real. Embora haja evidências para apoiar a premissa de que uma forte base de conhecimentos melhorará a competência clínica,16 não se deve esperar uma correlação entre o exame MPP3 e o desempenho de nível 3 da OSCE porque as avaliações medem 2 capacidades distintas.
O Modelo de Cambridge17 para avaliar a competência expande o modelo de competência de Miller, examinando os 2 níveis superiores da Pirâmide de Miller em maior detalhe. Este modelo, que explica a influência do ambiente e circunstâncias específicas de cada indivíduo na competência e desempenho, é útil ao racionalizar os resultados da análise estatística.
Os alunos podem ter um desempenho fraco nos OSCEs em relação ao seu desempenho no exame MPP3 devido à sua incapacidade de lidar com a natureza estressante da avaliação de múltiplas estações. A mudança de uma estação para outra a intervalos de 5 minutos pode não dar a alguns alunos tempo suficiente para recuperarem de um mau desempenho numa estação anterior, resultando num mau desempenho geral. Vários estudos mostram que o mau desempenho num exame da OSCE não é indicativo da falta de competência de um estudante.18-20 Dezoito estudantes tiveram um desempenho nitidamente melhor no seu exame escrito MPP3 do que nos seus OSCEs (Figura 1). Esta conclusão pode ser atribuída à sua capacidade de lidar com o stress de um exame escrito mais familiar em comparação com o dos OSCEs relativamente desconhecidos (ou seja, uma influência relacionada com o sistema). Outro fator possível é a importância associada à aprovação no exame MPP3, que é necessário para progredir até o último ano do curso de graduação. Em contraste, a aprovação nos OSCEs não é crucial para o progresso (ou seja, os estudantes podem ter um mau desempenho neste componente, mas ainda assim progredir por causa do crédito obtido em outros lugares). O conhecimento de que passar nos OSCEs não é crítico para o progresso pode impactar as atitudes dos estudantes em relação à avaliação (influência relacionada a um indivíduo), fazendo com que alguns não se preparem tão bem para os OSCEs como fariam para o exame MPP3. Embora haja evidência anedótica de que esta hipótese se aplica a um pequeno número de estudantes, é necessária mais investigação antes de se poderem tirar conclusões concretas sobre o impacto desta atitude no desempenho.
Como os estudos demonstraram que o desempenho nas OSCEs não é necessariamente um indicador de competência,18-20 sentimos que o sucesso dos estudantes neste elemento individual não é crucial para a progressão em direcção a um grau. Isto deve-se em grande parte ao fraco desempenho resultante de factores externos, em oposição à falta de capacidade, que poderia impedir um estudante capaz de passar para a fase seguinte do programa. Obviamente, este problema poderia ser melhorado através da realização de OSCEs summativas mais de uma vez durante um determinado ano, uma vez que o desempenho ao longo de uma série de OSCEs permitiria aos membros do pessoal avaliar com maior precisão a competência de cada estudante. No entanto, não é viável dar aos estudantes individuais múltiplas tentativas de passar numa OSCE em qualquer ano, devido à natureza intensiva destes exames. Dado o custo dos OSCEs e a sua inconsistência em medir com precisão a competência clínica, poderia ser feito um argumento para eliminá-los do programa como meio de avaliação, mesmo que isso significasse confiar apenas no desempenho dos estudantes nos seus exames tradicionais (por exemplo, MPP3) como uma métrica de progressão. Esta pesquisa, contudo, mostra que a correlação entre o desempenho nos exames tradicionais versus o desempenho nos OSCEs é fraca, sugerindo que as avaliações examinam diferentes habilidades. Assim, defendemos o uso continuado dos exames tradicionais em conjunto com os OSCEs na formação de estudantes de farmácia.
Há uma expectativa geral de que um aumento da experiência levará a um aumento concomitante da capacidade clínica e, como consequência, das notas da OSCE.10,12,13 Para avaliar até que ponto esta suposição se manteve para a coorte de 2009, comparamos as realizações relativas dos indivíduos nos OSCEs nos anos 1, 3, e 4 do programa de graduação. Embora o aumento da experiência tenha resultado em melhorias nas notas da OSCE para a grande maioria, isso não se manteve em 20% do coorte, apesar das melhorias no ano 3. Mais investigações revelaram que os OSCEs do último ano ocorreram ao mesmo tempo em que a dissertação do projeto do último ano era devida, o que é um excelente exemplo de influências relacionadas ao sistema que impactam a capacidade dos estudantes de realizar exames clínicos. Esta conclusão é apoiada em parte pela comparação do ano 1 com o ano 3, em que não houve conflitos e 100% dos alunos apresentaram melhorias em relação à nota do primeiro ano. Outros possíveis factores que afectam o desempenho da avaliação do ano 4 incluem as pressões externas pessoais sentidas pelos alunos e o aumento da complexidade do ano 4 OSCEs. A contribuição relativamente pequena dos OSCEs para a nota geral dos cursos associados ao ano 4 também pode ter parecido pouco importante para um pequeno número de estudantes, e isto pode ter tido impacto no esforço que estes estudantes investiram na preparação. Embora haja evidências anedóticas para apoiar esta hipótese, é necessária mais pesquisa antes de se chegar a conclusões definitivas sobre o impacto da atitude em relação aos OSCEs no desempenho dos OSCEs.