A computational architecture based on generative Artificial Intelligence for extracting useful knowledge from clinical diaries

Abstract

This dissertation presents the design and development of a computational architecture based on generative artificial intelligence for extracting structured and clinically relevant information from unstructured clinical diaries. The work addresses a central challenge in healthcare informatics: transforming free-text data from Electronic Health Records (EHRs) into meaningful and standardized knowledge to support infection surveillance and antimicrobial resistance monitoring. Guided by the Design Science Research Methodology (DSRM), the study explored both discriminative and generative modeling strategies. The discriminative approach involved fine-tuning the BERT model for Named Entity Recognition (NER), incorporating a modified cross-entropy loss function to mitigate class imbalance, employing Low-Rank Adaptation (LoRa) for parameter-efficient fine-tuning, and utilizing Optuna for hyperparameter optimization. The generative approaches focused on instruction-tuning models from the LLaMA family, implementing distinct training methodologies and strategies to minimize infinite generations arising from the limited size of the small language models (SLMs) and the complexity of the task. The resulting model, MedESM 1B, is a compact, domain-adapted generative language model capable of accurately extracting twelve predefined medical categories from clinical notes. Experimental results demonstrate that MedESM 1B achieves performance comparable to larger stateof- the-art models, such as GPT-4o-mini and MedGemma-4b-it, while maintaining substantially lower computational requirements. The proposed architecture thus represents a scalable and efficient solution for the automated extraction of clinical knowledge in real-world healthcare settings.

Esta dissertação apresenta o design e desenvolvimento de uma arquitetura computacional baseada em inteligência artificial generativa para a extração de informações estruturadas e clinicamente relevantes a partir de diários clínicos não estruturados. O trabalho aborda um desafio central da informática na saúde: transformar dados em texto livre de Registos Eletrônicos de Saúde (EHRs) em conhecimento significativo e padronizado, a fim de apoiar a vigilância de infecções e o monitorização da resistência antimicrobiana. Guiado pela Design Science Research Methodology (DSRM), o estudo explorou estratégias de modelação discriminativa e generativa. A abordagem discriminativa envolveu o fine-tuning do modelo BERT para Reconhecimento de Entidades Nomeadas, incorporando uma função de cross-entropy loss modificada para mitigar o desequilíbrio de classes, empregando Low-Rank Adaptation (LoRa) para um fine-tuning eficiente em termos de parâmetros e utilizando Optuna para otimização de hiperparâmetros. As abordagens generativas focaram em instruction-tuning de modelos da família LLaMA, implementando metodologias de treino distintas e estratégias para minimizar gerações infinitas decorrentes do tamanho limitado dos modelos de linguagem pequenos e da complexidade da tarefa. O modelo resultante, MedESM 1B, é um modelo de linguagem generativo compacto e adaptado ao domínio, capaz de extrair com precisão doze categorias médicas predefinidas de notas clínicas. Os resultados experimentais demonstram que o MedESM 1B apresenta desempenho comparável a modelos estado da arte maiores, como o GPT-4o-mini e o MedGemma-4b-it, enquanto mantém requisitos computacionais substancialmente mais baixos. A arquitetura proposta representa, portanto, uma solução escalável e eficiente para a extração automatizada de conhecimento clínico em contextos reais de saúde.