Unveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessment
Revelando a geração automática de itens: eficiência, formação, proficiência e funcionamento diferencial dos itens na avaliação da educação médica
| dc.contributor.advisor | Costa, Patrício Soares | por |
| dc.contributor.advisor | Pêgo, José M. | por |
| dc.contributor.author | Falcão, Filipe Manuel Vidal | por |
| dc.date.accessioned | 2025-05-22T10:55:25Z | |
| dc.date.available | 2025-05-22T10:55:25Z | |
| dc.date.issued | 2024-11-12 | |
| dc.date.submitted | 2024 | |
| dc.description.abstract | A avaliação de conhecimentos está a mudar rapidamente, sobretudo na educação médica, onde testes realizados em computador com perguntas de escolha múltipla são cada vez mais frequentes. Embora esta transição ofereça benefícios em termos de eficiência e acessibilidade, também levanta preocupações quanto à segurança dos testes devido ao risco de exposição das perguntas. Consequentemente, as perguntas dos testes devem ser elaboradas mais rapidamente e em maiores quantidades. Neste contexto, a Geração Automática de Itens (AIG) surge como uma solução promissora. Esta envolve o uso de algoritmos de computador e modelos cognitivos para gerar automaticamente perguntas de teste. Para além de oferecer uma abordagem sistemática e económica para o desenvolvimento de itens, a AIG permite a criação rápida de bancos substanciais de itens. Apesar do seu potencial, a AIG continua a ser subutilizada em muitas escolas médicas, o que realça a necessidade de mais investigação. A presente Tese procura esclarecer as complexidades do processo da AIG no contexto da avaliação da educação médica, com foco em vários aspetos-chave. Estes incluem a qualidade dos itens gerados e as suas propriedades psicométricas, a facilidade de integração nas práticas de avaliação, a validade da AIG e a sua compatibilidade com diferentes modalidades de avaliação. Ao longo desta Tese, apresentamos evidência empírica que destaca a rapidez, qualidade, validade e facilidade de uso deste procedimento. Ao oferecer exemplos e perspetivas específicas, esperamos demonstrar como a AIG pode melhorar significativamente as práticas de avaliação na educação médica, ao mesmo tempo que proporciona economias substanciais de recursos às instituições. | por |
| dc.description.abstract | Rapid changes are occurring in knowledge assessment, particularly in medical education, where computer-based exams with multiple-choice questions are becoming more frequent. While this shift provides advantages in terms of efficiency and accessibility, it also raises issues regarding test security due to the danger of items being exposed. As a result, test questions must be developed more swiftly and in larger quantities. Automatic Item Generation (AIG) emerges as a promising solution in this setting. It involves the use of computer algorithms and cognitive models to automatically generate test questions. Aside from providing a systematic and economical approach to item development, AIG enables the rapid creation of tangible item banks. However, despite its potential, AIG is still underutilized at many medical schools, highlighting the need for additional research. The purpose of this thesis is to explore the intricacies of the AIG process within the context of medical education assessment, focusing on several key aspects. These include the quality of generated items and their psychometric properties, the ease of integrating AIG into current assessment practices, the validity of AIG, and its compatibility with different assessment modalities. Throughout this Thesis, we present empirical evidence that underscores the procedure’s speed, quality, validity, and ease of use. By offering specific examples and insights, we hope to demonstrate how AIG can significantly enhance evaluation practices in medical education while also delivering substantial cost savings to institutions. | por |
| dc.description.sponsorship | Financial support was secured by a PhD Grant (PD/BDE/150621/2020 to Filipe Manuel Vidal Falcão) provided by the Foundation for Science and Technology (FCT) and Icognitus4All—IT Solutions through the PhDiHES program. The work was supported by National funds, through the FCT—project UIDB/50026/2020 and UIDP/50026/2020. | por |
| dc.identifier.tid | 101657889 | por |
| dc.identifier.uri | https://hdl.handle.net/1822/95668 | |
| dc.language.iso | eng | por |
| dc.relation | info:eu-repo/grantAgreement/FCT/POR_NORTE/PD%2FBDE%2F150621%2F2020/PT | por |
| dc.relation | info:eu-repo/grantAgreement/FCT/6817 - DCRRNI ID/UIDB%2F50026%2F2020/PT | por |
| dc.relation | info:eu-repo/grantAgreement/FCT/6817 - DCRRNI ID/UIDP%2F50026%2F2020/PT | por |
| dc.rights | openAccess | por |
| dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/4.0/ | por |
| dc.subject | Avaliação | por |
| dc.subject | Escrita de itens | por |
| dc.subject | Geração automática de itens | por |
| dc.subject | Qualidade dos itens | por |
| dc.subject | Validade | por |
| dc.subject | Automatic item generation | por |
| dc.subject | Assessment | por |
| dc.subject | Item writing | por |
| dc.subject | Item quality | por |
| dc.subject | Validity | por |
| dc.subject.fos | Ciências Médicas::Ciências da Saúde | por |
| dc.title | Unveiling automatic item generation: efficiency, formation, proficiency and differential item functioning in medical education assessment | por |
| dc.title.alternative | Revelando a geração automática de itens: eficiência, formação, proficiência e funcionamento diferencial dos itens na avaliação da educação médica | por |
| dc.type | doctoralThesis | eng |
| dspace.entity.type | Publication | en |
| sdum.degree.grade | Muito bom | por |
| sdum.uoei | Escola de Medicina | por |
| thesis.degree.grantor | Universidade do Minho | por |
| thesis.degree.name | Tese de doutoramento em Ciências da Saúde | por |
Ficheiros
Pacote original
1 - 1 de 1
A carregar...
- Nome:
- Filipe Manuel Vidal Falcao.pdf
- Tamanho:
- 33.22 MB
- Formato:
- Adobe Portable Document Format
- Descrição:
- Tese de doutoramento