An Objective Structured Clinical Exam to Assess Semiology Skills of Medical Students

Abstract

Introduction: Mastery of history taking and physical exam skills is a key competence of medical students. Objective Structured Clinical Examinations are the gold standard to assess these competencies, but their implementation in Portugal is poorly documented. We describe the implementation and our seven years experience with a high-stakes Objective Structured Clinical Examination to assess these skills in the School of Medicine, University of Minho.

Material and Methods: Our Objective Structured Clinical Examination is in place since 2010 and has been subject to continuous improvements, including the adoption of a standard setting procedure and an increase in the number of stations.

Results: Grades in our exam are well distributed and discriminate among students. History taking grades are lower and have remained stable throughout the years while physical examination scores have risen. The exam is reliable, with internal consistency above 0.45 and a G-coefficient of 0.74. It is also feasible, with a total testing time of approximately 20 hours for 140 students, and the involvement of 18 standardized patients and 18 faculty assessors. More importantly, it was able to engage the students, who recognize its importance.

Discussion: The most important validity criterion of our, and any Objective Structured Clinical Examination, would be predictive validity, the ability to predict the performance of students in the clinical context.

Conclusion: Our approach to a high-stakes Objective Structured Clinical Examination shows that it is feasible, reliable, valid and fair and can be implemented with success in the Portuguese setting.

Introdução: O domínio das aptidões de colheita de história e do exame físico é uma competência chave para os estudantes de medicina. Os Exames Clínicos Objetivos Estruturados são o padrão para avaliar estas competências, mas a sua implementação em Portugal está pouco documentada. Descrevemos a implementação e a nossa experiência de sete anos, com um Exame Clínico Objetivo Estruturado para avaliar estas aptidões na Escola de Medicina da Universidade do Minho. Material e Métodos: O nosso Exame Clínico Objetivo Estruturado existe desde 2010 e tem sido sujeito a melhorias contínuas, das quais se destacam a adoção de um procedimento de standard setting e o aumento do número de estações. Resultados: As notas no nosso exame estão bem distribuídas e discriminam entre estudantes. As notas da colheita da história são inferiores e têm permanecido estáveis ao longo do tempo, enquanto as do exame físico têm aumentado. O exame é fiável, tendo uma consistência interna acima de 0,45 e um coeficiente G de 0,74. Também é praticável, tendo um tempo total de teste de 20 horas para 140 alunos, envolvendo 18 pacientes estandardizados e 18 examinadores. Mais importante, o Exame Clínico Objetivo Estruturado foi capaz de cativar os estudantes, que reconhecem a sua importância para a sua formação. Discussão: O mais importante critério de valor do nosso, e de qualquer outro Exame Clínico Objetivo Estruturado, será o seu valor preditivo, que se traduz na faculdade de prever o desempenho dos estudantes em contexto clínico. Conclusão: A nossa abordagem para um Exame Clínico Objetivo Estruturado mostra que é praticável, fiável, válido e justo e que pode ser implementado com sucesso no contexto português