Designing quality metrics for colonoscopy video using explainable AI techniques

Abstract

Deep Learning has emerged as a powerful tool in medical image analysis, attracting significant attention due to its potential to improve diagnostic accuracy. In the context of Colorectal Cancer - the third most commonly diagnosed cancer worldwide - early detection via colonoscopy substantially increases the odds of survival. While several approaches with Artificial Intelligence have developed an automated support system for polyp detection and characterization, they are often challenged by variations in colonoscopy image quality. With this in mind, the primary focus of this work is to leverage explainable Artificial Intelligence to understand model decision-making and enhance model reliability, especially for clinical applications. By comparing explainability maps generated by Artificial Intelligence models with ground truth segmentation of polyps, the study assesses whether the model’s focus aligns with clinically relevant regions. The underlying hypothesis is that accurate predictions are more likely when the model’s attention is directed towards the polyp rather than surrounding noise. This dissertation has four core objectives: (1) to explore different explainable Artificial Inteligence techniques, (2) to calculate metrics that evaluate the spatial overlap between explainability maps and segmentation masks, thereby identifying high- and low-quality images automatically; (3) to correlate the new metrics with the model classification performance, and (4) to investigate the potential use of the new metrics to train a model for estimating the adequacy of images for further analysis. Ultimately, the results of this research aim to enhance the reliability and transparency of Artificial Intelligence models in Colorectal Cancer detection among healthcare professionals and improve clinical outcomes.

O Deep Learning emergiu como uma ferramenta poderosa na análise de imagens médicas, atraindo atenção significativa devido ao seu potencial para melhorar a precisão diagnóstica. No contexto do Cancro Colorretal – o terceiro tipo de cancro mais diagnosticado mundialmente – a deteção precoce através de colonoscopia aumenta substancialmente as probabilidades de sobrevivência. Embora várias abordagens baseadas em Inteligência Artificial tenham desenvolvido sistemas automatizados para a deteção e caracterização de pólipos, estas enfrentam frequentemente desafios devido às variações na qualidade das imagens de colonoscopia. Com isto em mente, o foco principal deste trabalho é utilizar Inteligência Artificial Explicável para compreender o processo de tomada de decisão dos modelos e aumentar a sua fiabilidade, especialmente em aplicações clínicas. Ao comparar os mapas de explicabilidade com as segmentações de referência dos pólipos, pretende-se avaliar se a atenção do modelo se está a focar nas regiões clinicamente relevantes. A hipótese subjacente é que as previsões precisas são mais prováveis quando a atenção do modelo está direcionada para o pólipo em vez do ruído ao redor. Esta dissertação tem quatro objetivos principais: (1) explorar diferentes técnicas de inteligência artificial explicável, (2) calcular métricas que avaliem a sobreposição espacial entre os mapas de explicabilidade e as máscaras de segmentação, identificando automaticamente imagens de alta e baixa qualidade, (3) correlacionar as novas métricas com o desempenho de classificação do modelo, e (4) investigar o potencial uso dessas novas métricas para treinar um modelo de regressão ou de classificação para estimar a qualidade das imagens. Em última análise, os resultados desta pesquisa visam melhorar a fiabilidade e a transparência dos modelos de inteligência artificial na deteção de cancro colorretal entre os profissionais de saúde e aprimorar os resultados clínicos.