Exploration and refinement of language models for applications in the food industry

Abstract

This thesis explores the utilization of Large Language Models (LLMs) in the food industry to enhance decision-making processes and improve product safety and quality. Leveraging advancements in Natural Language Processing (NLP), this work aims to develop a Retrieval Augmented Generation (RAG) system. This system interacts intelligently with domain experts by retrieving and generating responses based on curated corpora of scientific literature and regulatory documents. Data sources include PubMed, Code of Federal Regulations (CFR) Title 21 regulations, and other authoritative materials, which were processed and stored in a vector index to enable efficient and contextually relevant retrieval. To assess the performance of the system, a custom dataset, ”LLM Eval”, was created to simulate real-world food engineering queries, allowing for both human and automatic evaluation of model responses. This work also explores the use of rerankers and corrective mechanisms to improve answer relevance and factual accuracy. The result is an intelligent conversational agent capable of supporting industry professionals with informed, fact-based recommendations, aiding in compliance, safety improvements, and sustainable food production practices.

Esta tese explora a utilização de Large Language Models (LLMs) na indústria alimentar para melhorar os processos de tomada de decisão e aumentar a segurança e a qualidade dos produtos. Aproveitando os avanços em Natural Language Processing (NLP), este trabalho tem como objetivo desenvolver um sistema de Retrieval Augmented Generation (RAG). Este sistema interage de forma inteligente com especialistas da área, recuperando e gerando respostas com base em corpus selecionados de literatura científica e documentos regulamentares. As fontes de dados incluem PubMed, as regulamentações do Code of Federal Regulations (CFR) Título 21 e outros materiais relevantes, que foram processados e armazenados num índice vetorial para permitir uma recuperação eficiente e contextualmente relevante. Para avaliar o desempenho do sistema, foi criado um conjunto de dados personalizado, ”LLM Eval”, para simular consultas do mundo real na engenharia alimentar, permitindo tanto a avaliação humana como automática das respostas do modelo. Este trabalho explora também a utilização de rerankers e mecanismos de correção para melhorar a relevância das respostas e a precisão dos factos recolhidos. O resultado é um agente conversacional inteligente capaz de apoiar os profissionais da indústria com recomendações informadas e baseadas em factos, auxiliando na conformidade, melhorias de segurança e práticas de produção alimentar sustentável.