Semantic segmentation of medical images with deep learning

Abstract

The use of deep learning techniques in medical image analysis has been a subject of growing interest in recent years. One of the most important applications of these techniques is the detection and segmentation of tumors in histological images. This dissertation focused on investigating the use of deep learning models to segment tumors, with the aim of providing medical specialists with a tool that can help them make more precise diagnoses. Tumor growth patterns are an important histological characteristic that can provide information about the aggressiveness and degree of malignancy of a tumor. Specifically, the epithelial-mesenchymal transition on the tumor front is a pattern that has been shown to confer high aggressiveness and a great capacity to invade tissues and cause metastases, leading to a poor prognosis regarding the evolution of the tumor. Therefore, detecting and segmenting tumors in histological images can be a critical step in the diagnosis and treatment of tumors. The research process involved several steps, including preprocessing the images to prepare them for deep learning models. This step involved developing methods to enhance the quality of the images and make them suitable for training deep learning models. Two types of deep learning architectures, the U-Net and Tiramisu, were trained in a supervised way, and different types of loss functions were experimented with to measure their efficiency in controlling the training process. Additionally, different types of hyperparameters were tried, and the best value was chosen for each hyperparameter. Finally, the effectiveness of the models was evaluated and compared both qualitatively and quantitatively based on their performance in image segmentation. The results obtained show that deep learning models surpassed the initially predicted values and reached a value above 94% based on the training data. for the Interception over the Union metric. This result demonstrates the potential of deep learning techniques to detect and segment tumors in histological images and reinforces the importance of continuing to investigate this topic. The best results of the present work were achieved with total loss, as explained on page 89.

A aplicação de técnicas de aprendizagem profunda na análise de imagens médicas tem sido alvo de um interesse crescente nos últimos anos. Uma das aplicações mais importantes destas técnicas é a deteção e segmentação de tumores em imagens histológicas. A presente dissertação fucou-se na investigação sobre a utilização de modelos de aprendizagem profunda para segmentar tumores, com o objetivo de fornecer aos especialistas médicos uma ferramenta que ajude a efetuar diagnósticos mais corretos. Os padrões de crescimento tumoral são uma característica histológica importante, que pode fornecer informação sobre a agressividade e grau de malignidade dum tumor. Especificamente, a transição epitelial-mesenquimal na frente do tumor é um padrão que confere alta agressividade e grande capacidade de invadir tecidos e causar metástases, conduzindo a um mau prognóstico sobre a evolução do tumor. Portanto, a detecção e segmentação de tumores em imagens histológicas é um passo crítico no diagnóstico e tratamento dos tumores. O trabalho desenvolvido decorreu em várias etapas, incluindo o pré-processamento das imagens para prepará-las para treinar os modelos de aprendizagem profunda. Essa etapa envolveu o desenvolvimento de métodos para melhorar a qualidade das imagens e torná-las adequadas para o treino de modelos de aprendizagem profunda. Dois tipos de modelo de aprendizagem profunda, U-Net e Tiramisu, foram treinados de forma supervisionada, e experimentaram-se diferentes tipos de função de perda para medir a sua eficácia no controlo do processo de treino. Adicionalmente, testaram-se diferentes tipos de hiperparâmetros e escolheu-se o melhor valor para cada hiperparâmetro a utilizar em futuras experiências. Finalmente, a eficácia dos modelos foi avaliada e comparada tanto qualitativamente como quantitativamente com base no seu desempenho na segmentação de imagens. Os resultados obtidos mostram que os modelos de aprendizagem profunda ultrapassaram os valores inicialmente previstos e alcançaram um valor acima de 94% com base nos dados de treinamento para a métrica de Intercepção sobre União. Este resultado demonstra o potencial das técnicas de aprendizagem profunda para detetar e segmentar tumores em imagens histológicas e reforça a importância de continuar a investigar este tópico. Os melhores resultados deste trabalho foram obtidos com a função de perda total, como se mostra na página 89.