Detection, segmentation and classification of polyps in colonoscopies with mask R-CNN

Abstract

According to the world’s health data, colorectal cancer is globally the third most prevalent cancer and it’s mainly derived from pre-malignant coloretal polyps. With the goal of decreasing the incidence and the mortality rate associated to this cancer, early diagnose and treatment is the most effective method, achieved through colonoscopy screening. During a colonoscopy, the gastrointestinal tract is visually examined through an endoscope, which is a lighted and flexible tube with a tiny video camera. However, some anomalies may not be detected during a colonoscopy due to human error. With the aim to eliminate this problem, over the last years, many studies have been conducted on computer-aided detection based on deep learning, to reduce the miss rate. Deep learning is an artificial intelligence function that simulates the workings of the human brain in processing data and creating patterns for use in decision making. Deep Learning uses a hierarchical level of artificial neural networks to perform the process of machine learning, enabling transfer learning, where parameters of each layer are changed based on information from the previous layer. Artificial neural networks are built like the human brain, with nodes of neurons linked together like a web. Nowadays, with the incessant advances in information technology and its implications in all the life domains, deep learning algorithms started to emerge as a need for better machine performance, compensating for human’s limited processing capability, preventing human errors, and giving machines some reliable autonomy. This project aimed to develop a model that allows the detection and classification of polyps using Mask R-CNN and evaluate the integration approach with the FUJIFILM Endoscopy Solution. The first key of this dissertation, the Mask R-CNN model, was effectively developed and proven to achieve accurate polyp detection and segmentation. Based on the models that obtain the best metrics during the training phase, it was possible to find a final model that presented an accuracy of 83.33 %, a precision of 93.90 %, a recall of 82.35 %, an F1 Score of 87.75 %, a dice coefficient of 87.51 % and a medium time of 0.22 seconds per prediction. Finally, the integration evaluation was based on two different approaches: a Flask API and Python.Net. Even though the first one was shown to be a good approach with easy integration, the latency in the data transfer process was fatal for what was proposed. The developed methods and implementations proved that, with some improvements, they could successfully create a polyp detection and segmentation system.

De acordo com os dados saúde mundial, o cancro colorrectal é o terceiro cancro mais incidente a nível global, sendo derivado essencialmente de pólipos colorrectais, num estado pré-malignos. Alcançado através do rastreio por colonoscopia, o diagnóstico e o tratamento precoce são os métodos mais eficazes na diminuição da incidência e da taxa de mortalidade associada a este cancro. Durante uma colonoscopia, o sistema gastro-intestinal é examinado através do endoscópio, um tubo iluminado e e flexível, com uma pequena câmara. No entanto, algumas anomalias podem não ser detectadas durante o exame devido a erro humano. Com o objectivo de eliminar este problema, nos últimos anos, têm sido realizados muitos estudos com base na detecção assistida por computador, com recurso a deep learning, conseguindo diminuir a taxa de erros. Deep Learning é uma função de inteligência artificial que simula o funcionamento do cérebro humano, no processamento de dados e na criação de padrões para utilização na tomada de decisões. O conceito de deep learing utiliza redes neurais organizadas hierarquicamente para realizar o processo de machine learning, permitindo que ocorra transfer learning. Neste método, os parâmetros de cada camada são alterados com base na informação da camada anterior. As redes neurais artificiais são construídas como o cérebro humano, com nós de neurónios ligados entre si. Atualmente, com os constantes avanços da tecnologia nas mais diversas áreas, os algoritmos de deep learning surgiram como uma necessidade de melhorar o desempenho da máquina, compensando o limite da capacidade humana, prevenindo erros e dando alguma autonomia às máquinas. Esta dissertação teve como objectivo desenvolver um modelo que permite a detecção e classificação de pólipos usando a Mask R-CNN, e avaliar a sua integração com a Solução de Endoscópia da FUJIFILM. Na primeira fase, o modelo Mask R-CNN provou ser capaz de obter uma detecção e segmentação precisa dos pólipos. Com base nos modelos que obtiveram as melhores métricas durante a fase de treino, foi possível encontrar um modelo final que apresentou uma accuracy de 83,33 %, uma precisão de 93,90 %, um recall de 82,35 %, um F1 Score de 87,75 %, um dice de 87,51 % e um tempo médio de 0,22 segundos. Finalmente, a integração baseou-se na avaliação de duas abordagens diferentes: o desenvolvimento de uma API Flask e a utilizaçaõ de Python.Net. Embora a primeira se tenha mostrado bastante eficaz devido à fácil integração, a latência no processo de transferência de dados foi fatal para o objetivo proposto. Em suma, os métodos e implementações desenvolvidos provaram que, com algumas melhorias, será possível criar, com sucesso, um sistema de detecção e segmentação de pólipos.