Development of a machine learning-based application to predict the toxicity of chemical compounds

Abstract

The prediction of the toxicity of chemical compounds is a crucial task in drug development and chemical safety assessment. In this study, are implemented and compared both singletask and multitask machine learning (ML) approaches to predict three toxicity endpoints: mutagenicity, carcinogenicity, and genotoxicity. The comparisons included models with and without cross-validation (CV), aiming to determine the most effective approach for predicting these biological phenomena. The training process was supported by the internal pipelines of OmniumAI, a spin-off of the University of Minho. For hyperparameter optimization, the Tree-structured Parzen Estimator (TPE) algorithm was employed, with the primary goal of maximizing the balanced accuracy metric, given the imbalanced nature of the data. Various predictive models were explored, including neural networks and classical ML techniques, with a robust number of trials for each task. The optimization process was managed using an SQLite database, ensuring persistence of the best-performing models for subsequent analysis and testing. The model was integrated into a final application that allows predictions to be generated using the trained models. This application was developed in parallel, utilizing React JavaScrip and Python as the main technologies. The results revealed that the multitask approach outperformed the singletask methods in the test set, indicating that toxicity information for one endpoint can be useful in predicting another. The inclusion of featurizers and standardizers in the models did not lead to significant performance gains, reinforcing the robustness of certain neural network architectures like convolutional neural networks (TextCNN and CNN) and graph-based models (D-MPNN and Pathgn), which do not heavily rely on complex preprocessing techniques. As a final product of this project, we developed not only a set of robust models—with balanced accuracy reaching 95% (validation) and ROC AUC values of up to 92% (test)—but also an intuitive website.

A previsão da toxicidade de compostos químicos é uma tarefa fundamental no desenvolvimento e avaliação da segurança de fármacos. Neste âmbito, implementaram-se e compararam-se abordagens de machine learning (ML) singletask e multitask para prever três endpoints de toxicidade: mutagenicidade, carcinogenicidade e genotoxicidade. As comparações incluíram modelos com e sem validação cruzada (CV), com o objetivo de determinar a abordagem mais eficaz para a previsão destes fenómenos biológicos. Este treino foi auxiliado pelos pipelines internos da OmniumAI, uma spin-off da Universidade do Minho. Para otimização dos hiperparâmetros, utilizou-se o algoritmo Tree-structured Parzen Estimator (TPE), com maximização da balanced accuracy, dada a natureza desbalanceada dos dados. Exploraram-se diversos modelos preditivos, incluindo redes neurais e técnicas clássicas de ML, com um número robusto de ensaios. O modelo foi integrado numa aplicação final que permite a geração de previsões, utilizando os modelos treinados. Esta aplicação foi desenvolvida paralelamente e utilza React JavaScript e Python como tecnologias principais. Os resultados revelaram que a abordagem multitask superou a singletask nos dados de teste, indicando que a toxicidade para um endpoint pode ser utilizada para prever outro. Além disso, observou-se que a inclusão de featurizers e standardizers nos modelos não resultou em ganhos muito expressivos de desempenho, reforçando a robustez de certas arquiteturas de redes neurais (TextCNN e CNN) e à base de grafos (D-MPNN e Patgn), que não dependem fortemente de pré-processamentos complexos. Como produto final do desenvolvimento deste projeto, resultou, assim, não só um conjunto de modelos robustos- com uma balanced accuracy a atingir 95% (validação) valores de ROC AUC de 92% (teste) -, mas também um website intuitivo.