Local analysis strategies for exudate detection in fundus images

Abstract

Diabetic Retinopathy (DR) is a common complication of diabetes, which is among the major causes of vision loss in the world. An early detection of the disease is the key to avoid the patient’s blindness. However, at the initial phase of the disease, the vision impairment is not easily percieved by the patient. Therefore, regular follow-up exams are recommended in order to detect anomalous patterns in the patient’s retina. Exudates are one of the most prevalent signs during the early stage of DR and, therefore, its early detection is vital to prevent the patient’s blindness. However, the manual detection of exudates by experts is laborious and time-consuming. Thus, automated screening techniques for exudate detection have great significance in saving cost, time and labor, allowing the ophthalmologists to make the treatment decision timely. In this sense, one of the main objectives of this thesis is to develop and compare different strategies to locally extract information of fundus images for detecting exudates. Several methods related to the automatic detection of exudates have been proposed in the literature however, these methods focus their efforts in the segmentation of exudates or require the extraction of features from a lesion candidate map. On the other hand, in the methodologies proposed in this thesis, the characterization of healthy and damaged retinal areas is performed by applying image descriptors in a local way, avoiding the segmentation step and the generation of candidate maps. A system based on local feature extraction and Support Vector Machine classification is used to develop and compare different strategies for automated detection of exudates. The main novelty of this work is allowing the detection of exudates using non-regular regions to perform the local feature extraction. To accomplish this objective, different methods for generating superpixels are applied to the fundus images of E-OPHTA database and texture and morphological features are extracted for each of the resulting regions. Finally, each region is classified according to healthy and pathological classes, during the classification stage. The strategies proposed in order to generate superpixels rely on applying the marker-controlled watershed transformation to a spatially regularized gradient. From these strategies, two different types of superpixels are created: c-Waterpixels and m-Waterpixels. In the end, an elaborated comparison between the proposed methods for generating m and c-waterpixels and the state-of-the-art method for generating SLIC superpixels is performed. Additionally, a system based on Convolutional Neural Networks (CNN) is explored to discriminate between healthy and pathological regions in fundus images. Transfer learning is applied to fine-tune some of the most important state-of-the-art CNN architectures. Exudates usually represent less than one percent of the total number of pixels that compose the retinal image. This is the reason why, in both the systems presented in this thesis, the fundus images are divided in superpixels and the classification is performed for each of the regions. Lastly, an exhaustive comparison between the two created systems to automatically detect exudates is performed. In other words, the classification results obtained through the system involving CNNs are compared with the ones obtained by applying the approach based on feature extraction and subsequent classification using machine learning algorithms.

A Retinopatia Diabética (RD) é uma complicação da diabetes, que está entre as maiores causas de perda de visão no Mundo. A deteção da doença durante a sua fase inicial é a chave para evitar a cegueira do paciente. No entanto, a debilitação da visão é muitas das vezes impercetível para o doente durante esta fase. Por este motivo, é recomendado que pacientes com diabetes realizem exames de acompanhamento regulares de forma a detetar possíveis anomalias nas suas retinas. Os exsudatos são um dos sinais mais prevalentes durante a fase inicial da RD e, deste modo, a sua deteção precoce é vital para prevenir a cegueira do paciente. No entanto, a deteção manual destas lesões é trabalhosa e demorada. As técnicas que permitem a deteção automática de exsudatos desempenham então um papel importante na diminuição dos custos, tempo e trabalho, permitindo que os oftalmologistas atribuam o tratamento a tempo de evitar a cegueira do paciente. Neste sentido, um dos principais objetivos desta tese é o desenvolvimento de diferentes estratégias que extraiam informação localmente de imagens fundus, com o intuito de detetar exsudatos. Diversos métodos relacionados à deteção automática de exsudatos têm sido propostos na literatura. No entanto, esses métodos baseiam-se na segmentação de exsudatos ou exigem a extração de informação a partir de um mapa de candidatos. Por outro lado, nas metodologias apresentadas neste trabalho, a caracterização do tecido saudável e patológico é feita aplicando descritores de imagem localmente. Um sistema baseado numa extração local de características e posterior classificação é usado para desenvolver e comparar diferentes estratégias de deteção automatizada de exsudatos. O caracter inovador deste trabalho é permitir a deteção de exsudatos recorrendo a regiões não-regulares para realizar a extração local de características. Para atingir este objetivo, diferentes métodos para gerar superpixels foram aplicados às imagens da base de dados E-OPHTA e características texturais e morfológicas foram extraídas para cada uma das regiões resultantes. Por fim, cada região é classificada em patológica ou saudável durante o processo de classificação. As estratégias propostas para gerar superpixels consistem em aplicar a chamada watershed transformation a um gradiente espacialmente regularizado. A partir da referida estratégia, são obtidos dois tipos de superpixels: c-Waterpixels e m-Waterpixels. No final, é realizada uma comparação elaborada entre os métodos propostos para a geração de m e c-Waterpixels e o método estabelecido na literatura para gerar superpixels SLIC. Para além disso, é ainda explorado um método baseado em Redes Neurais Convolucionais (CNN) para detetar regiões patológicas e saudáveis em imagens da retina. A técnica de Transfer Learning é usada para transferir conhecimento sobre o tecido da retina para alguns dos modelos mais relevantes pré-treinados com a base de dados ImageNet. Normalmente, os exsudatos representam menos de um porcento to número total de pixéis que compõem a imagem e este é o motivo pelo qual, em ambos os sistemas apresentados neste trabalho, as imagens são divididas em superpixeis e a classificação é feita para cada uma das regiões. Por fim, uma comparação exaustiva entre os dois sistemas criados para detetar automaticamente exsudatos é realizada. Isto é, os resultados de classificação obtidos através do sistema baseado em CNNs são comparados com os obtidos através da aplicação da abordagem baseada na extração de características e subsequente classificação usando algoritmos de Machine Learning.