Unveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessment

Revelando a geração automática de itens: eficiência, formação, proficiência e funcionamento diferencial dos itens na avaliação da educação médica
dc.contributor.advisorCosta, Patrício Soarespor
dc.contributor.advisorPêgo, José M.por
dc.contributor.authorFalcão, Filipe Manuel Vidalpor
dc.date.accessioned2025-05-22T10:55:25Z
dc.date.available2025-05-22T10:55:25Z
dc.date.issued2024-11-12
dc.date.submitted2024
dc.description.abstractA avaliação de conhecimentos está a mudar rapidamente, sobretudo na educação médica, onde testes realizados em computador com perguntas de escolha múltipla são cada vez mais frequentes. Embora esta transição ofereça benefícios em termos de eficiência e acessibilidade, também levanta preocupações quanto à segurança dos testes devido ao risco de exposição das perguntas. Consequentemente, as perguntas dos testes devem ser elaboradas mais rapidamente e em maiores quantidades. Neste contexto, a Geração Automática de Itens (AIG) surge como uma solução promissora. Esta envolve o uso de algoritmos de computador e modelos cognitivos para gerar automaticamente perguntas de teste. Para além de oferecer uma abordagem sistemática e económica para o desenvolvimento de itens, a AIG permite a criação rápida de bancos substanciais de itens. Apesar do seu potencial, a AIG continua a ser subutilizada em muitas escolas médicas, o que realça a necessidade de mais investigação. A presente Tese procura esclarecer as complexidades do processo da AIG no contexto da avaliação da educação médica, com foco em vários aspetos-chave. Estes incluem a qualidade dos itens gerados e as suas propriedades psicométricas, a facilidade de integração nas práticas de avaliação, a validade da AIG e a sua compatibilidade com diferentes modalidades de avaliação. Ao longo desta Tese, apresentamos evidência empírica que destaca a rapidez, qualidade, validade e facilidade de uso deste procedimento. Ao oferecer exemplos e perspetivas específicas, esperamos demonstrar como a AIG pode melhorar significativamente as práticas de avaliação na educação médica, ao mesmo tempo que proporciona economias substanciais de recursos às instituições.por
dc.description.abstractRapid changes are occurring in knowledge assessment, particularly in medical education, where computer-based exams with multiple-choice questions are becoming more frequent. While this shift provides advantages in terms of efficiency and accessibility, it also raises issues regarding test security due to the danger of items being exposed. As a result, test questions must be developed more swiftly and in larger quantities. Automatic Item Generation (AIG) emerges as a promising solution in this setting. It involves the use of computer algorithms and cognitive models to automatically generate test questions. Aside from providing a systematic and economical approach to item development, AIG enables the rapid creation of tangible item banks. However, despite its potential, AIG is still underutilized at many medical schools, highlighting the need for additional research. The purpose of this thesis is to explore the intricacies of the AIG process within the context of medical education assessment, focusing on several key aspects. These include the quality of generated items and their psychometric properties, the ease of integrating AIG into current assessment practices, the validity of AIG, and its compatibility with different assessment modalities. Throughout this Thesis, we present empirical evidence that underscores the procedure’s speed, quality, validity, and ease of use. By offering specific examples and insights, we hope to demonstrate how AIG can significantly enhance evaluation practices in medical education while also delivering substantial cost savings to institutions.por
dc.description.sponsorshipFinancial support was secured by a PhD Grant (PD/BDE/150621/2020 to Filipe Manuel Vidal Falcão) provided by the Foundation for Science and Technology (FCT) and Icognitus4All—IT Solutions through the PhDiHES program. The work was supported by National funds, through the FCT—project UIDB/50026/2020 and UIDP/50026/2020.por
dc.identifier.tid101657889por
dc.identifier.urihttps://hdl.handle.net/1822/95668
dc.language.isoengpor
dc.relationinfo:eu-repo/grantAgreement/FCT/POR_NORTE/PD%2FBDE%2F150621%2F2020/PTpor
dc.relationinfo:eu-repo/grantAgreement/FCT/6817 - DCRRNI ID/UIDB%2F50026%2F2020/PTpor
dc.relationinfo:eu-repo/grantAgreement/FCT/6817 - DCRRNI ID/UIDP%2F50026%2F2020/PTpor
dc.rightsopenAccesspor
dc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/4.0/por
dc.subjectAvaliaçãopor
dc.subjectEscrita de itenspor
dc.subjectGeração automática de itenspor
dc.subjectQualidade dos itenspor
dc.subjectValidadepor
dc.subjectAutomatic item generationpor
dc.subjectAssessmentpor
dc.subjectItem writingpor
dc.subjectItem qualitypor
dc.subjectValiditypor
dc.subject.fosCiências Médicas::Ciências da Saúdepor
dc.titleUnveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessmentpor
dc.title.alternativeRevelando a geração automática de itens: eficiência, formação, proficiência e funcionamento diferencial dos itens na avaliação da educação médicapor
dc.typedoctoralThesiseng
dspace.entity.typePublicationen
sdum.degree.gradeMuito bompor
sdum.uoeiEscola de Medicinapor
thesis.degree.grantorUniversidade do Minhopor
thesis.degree.nameTese de doutoramento em Ciências da Saúdepor

Ficheiros

Pacote original

A mostrar 1 - 1 de 1
A carregar...
Nome:
Filipe Manuel Vidal Falcao.pdf
Tamanho:
33.22 MB
Formato:
Adobe Portable Document Format
Descrição:
Tese de doutoramento