Extracting protein-protein interactions from biomedical literature with large language models

Abstract

Protein–protein interactions (PPIs) are essential to comprehend cellular processes, yet their identification from biomedical literature remains challenging. Large Language Models (LLMs) offer a promising ability for automating relation extraction, but their reliability in specialized biomedical applications is not fully established. This thesis evaluated the potential of open-source LLMs for PPI extraction using a Retrieval- Augmented Generation (RAG) pipeline. Full text articles from biomedical literature were retrieved, processed and PPIs extracted. These interactions were then benchmarked against curated databases such as BioGRID, STRING, and GENIA. BioMistral consistently produced higher-quality outputs during prompt testing compared to other models, which showed more variable performance. However, benchmarking revealed high false-positive rates and generally low precision. The findings highlight both the opportunities and limitations of LLMs for biomedical relation extraction. Domain-specific models outperformed general-purpose LLMs during prompt testing, emphasizing the importance of specialized training. Persistent challenges include accurate entity recognition, handling full-text complexity, and the absence of robust benchmarks beyond abstracts. This work shows that while open-source LLMs are a valuable starting point for automated PPI extraction, their successful application requires careful prompt engineering, domain adaptation, and improved evaluation strategies.

As interações proteína-proteína (PPIs) são essenciais para compreender os processos celulares, mas a sua identificação na literatura biomédica continua a ser um desafio. Os Modelos de Linguagem de Grande Escala (LLMs) oferecem uma capacidade promissora para automatizar a extração de relações, mas a sua fiabilidade em aplicações biomédicas especializadas ainda não está totalmente estabelecida. Esta tese avaliou o potencial dos LLMs de código aberto para a extração de PPIs utilizando um pipeline de Geração Aumentada por Recuperação (RAG). Artigos completos da literatura biomédica foram recuperados, processados e as PPIs extraídas. Estas interações foram então comparadas com bases de dados selecionadas, como BioGRID, STRING e GENIA. O BioMistral produziu consistentemente resultados de maior qualidade durante os testes rápidos em comparação com outros modelos, que mostraram um desempenho mais variável. No entanto, a comparação revelou altas taxas de falsos positivos e precisão geralmente baixa. As conclusões destacam tanto as oportunidades como as limitações dos LLMs para a extração de relações biomédicas. Os modelos específicos do domínio superaram os LLMs de uso geral durante a fase de testes de prompts, enfatizando a importância do treinamento especializado. Os desafios persistentes incluem o reconhecimento preciso de entidades, o tratamento da complexidade do texto completo e a ausência de referências robustas além dos resumos. Este trabalho mostra que, embora os LLMs de código aberto sejam um ponto de partida valioso para a extração automatizada de PPI, sua aplicação bem-sucedida requer engenharia cuidadosa, adaptação do domínio e estratégias de avaliação aprimoradas.