Integrating knowledge of database systems with language models

Abstract

Recent advances in Artificial Intelligence have enabled large language model (LLM) agents to query structured data sources, such as SQL databases or APIs, based on natural language prompts. This capability provides a richer context and improves response quality. This work explores a dynamic approach to translating user prompts into data queries that operate, manage, and retrieve information beyond the capabilities of pre-built tools. To fulfill this goal, several well-established approaches have been developed and applied in different contexts, such as Text-2-SQL, API based approaches, semantic parsing, among others. However, many implementations are troubled with security issues, as LLM-based systems are vulnerable to scenarios such as prompt injection, which can disrupt the entire system, exfiltrate restricted data, and allow for many other dangerous possibilities. Because this work aims to design systems intended for real operational use, addressing such security risks is a central concern of the dissertation. This dissertation is conducted in collaboration with OmniumAI, the developers of CibusAI, an artificial intelligence based platform that empowers food science by supporting product reformulations, promoting sustainability, and optimizing various processes. The work focuses on enhancing the capabilities of the CibusAI platform’s AI assistant, giving it the ability to dynamically query stored data. Through the design and implementation of a dynamic query system integrated into CibusAI, this work demonstrates how LLM-powered agents can be extended to interact with structured data sources in an industrial setting. The system was evaluated with Langfuse across multiple datasets and languages, including robustness checks against adversarial attacks. Although the developed tools, for advanced formulation development scenarios, showed limited accuracy and faced challenges such as latency, token constraints, and inadequate tool selection, the evaluation highlighted a high degree of relevance and revealed practical strategies for improving tool documentation, endpoint design, and security hardening. These results underline both the potential and complexity of deploying secure, dynamic LLM query systems in real-world environments, providing lessons and design guidelines that inform future research and industrial adoption.

Os recentes avanços em Inteligência Artificial permitiram que agentes baseados em grandes modelos de linguagem (LLMs) consultem fontes de dados estruturadas, como bases de dados SQL ou APIs, a partir de instruções em linguagem natural. Esta capacidade fornece um contexto mais rico e melhora a qualidade das respostas. Este trabalho explora como tal procedimento pode ser implementado de forma dinâmica, traduzindo pedidos de utilizadores em consultas que operam, gerem e recuperam dados, superando ferramentas pré-existentes. Para tal, recorrem-se a abordagens consolidadas como Text-to-SQL, técnicas baseadas em APIs e parsing semântico. Contudo, sistemas baseados em LLM apresentam riscos de segurança, nomeadamente a injeção de prompts, capaz de comprometer a integridade e confidencialidade dos dados. Como o objetivo deste trabalho é o uso real em contexto industrial, estas preocupações assumem papel central na tese. Esta dissertação é desenvolvida em colaboração com a OmniumAI, criadora do CibusAI, uma plataforma de IA aplicada à ciência alimentar que apoia a reformulação de produtos, a sustentabilidade e a otimização de processos. O trabalho visa aprimorar o assistente de IA da CibusAI, dotando-o da capacidade de consultar dinamicamente os dados armazenados. Com o design e implementação de um sistema de consulta dinâmica integrado no CibusAI, este trabalho demonstra como agentes baseados em LLMs podem ser estendidos para interagir com dados estruturados em contextos industriais. O sistema foi avaliado com o Langfuse em vários conjuntos de dados e idiomas, incluindo testes de robustez a ataques adversariais. Apesar de limitações de precisão, latência e restrições de tokens, que afetaram resultados em casos complexos, a avaliação evidenciou elevada relevância e apontou estratégias práticas para melhorar a documentação, o design dos endpoints e a segurança. Os resultados destacam o potencial e a complexidade de implementar sistemas de consulta dinâmica seguros baseados em LLMs em ambientes reais, oferecendo orientações para investigação futura e adoção industrial.