Automatic prediction of ischemic stroke from MRI images using Deep Learning

Abstract

O Acidente Vascular Cerebral é uma das principais causas de morte, constituindo a segunda causa de morte nos países desenvolvidos. Representa também uma das principais causas de incapacidade funcional a nível mundial, tendo um grande impacto na sociedade. O Acidente Vascular Cerebral pode ser classificado em hemorrágico ou isquémico, sendo este último o subtipo mais frequente. O estudo imagiológico é fundamental na abordagem e planeamento do tratamento, onde a Tomografia Computorizada é o método de imagem mais comummente utilizado devido aos baixos custos de operação e acessibilidade. Contudo, quando disponível, a Ressonância Magnética é o método preferido, dada a sua capacidade na detecção de estadios precoces de isquemia cerebral. Desta forma, o estudo imagiológico permite não só a distinção do tipo de lesão e a sua localização, mas também uma melhor discriminação das áreas com enfarte das áreas de penumbra, onde existe a possibilidade de recuperação do tecido cerebral. Uma rápida ponderação dos riscos e benefícios associados à intervenção é necessária, que tem por base delineações grosseiras da lesão e a experiência clínica, havendo por isso, variabilidade intra- e inter-médico. Assim, ferramentas automáticas, permitem orientar e facilitar o processo de ponderação. Não obstante, o desenvolvimento destas ferramentas não é trivial, dada a variabilidade das lesões, dos fenómenos de perfusão e difusão cerebrais que ocorrem ao longo do tempo, bem como da variabilidade dos aparelhos de aquisição médica e a sua fraca resolução. A Aprendizagem Automática compreende um vasto número de algoritmos, todos eles com o intuito de aprender padrões para realizar um dado objectivo ou tarefa. Uma categoria específica da Aprendizagem Automática é a Aprendizagem de Características, onde os algoritmos têm a capacidade de aprender e extrair automaticamente características através dos dados de entrada. Por sua vez, dentro dos métodos de Aprendizagem de Características, existem algoritmos de Aprendizagem Profunda, onde vários níveis são utilizados para uma maior capacidade de abstracção sobre os dados de entrada e, consequentemente, uma maior discriminação. Assim sendo, foram estudadas e aplicadas Redes Neuronais Convolucionais e Recorrentes, em três diferentes tópicos de investigação. No primeiro tópico, os mapas convencionais usados na prática clínica são combinados com os dados responsáveis por gerar os mapas convencionais. Com esta proposta foi possível demonstrar a vantagem em considerar ambos os tipos de dados em arquitecturas específicas. Uma segunda linha focou-se na conjugação dos dados clínicos do paciente com os dados imagiológicos. Para tal propôs-se uma função de custo, com o intuito de guiar o processo de aprendizagem da rede profunda. Mais ainda, a informação clínica, não imagiológica, foi introduzida como canal de entrada extra, garantido que informação específica de cada paciente é tida em consideração. Por último, explorou-se a aprendizagem não supervisionada, na caracterização da distribuição dos dados que descrevem a capacidade de perfusão e difusão e a hemodinâmica cerebral. Foram ainda validados vários componentes fulcrais da rede, nomeadamente as Redes Neuronais Recorrentes-Fechadas. Ao considerar a etapa de aprendizagem não supervisionada, demonstrou-se a capacidade em obter características representativas das propriedades supra-referidas, alcançando-se resultados estado da arte.

Stroke is a leading cause of death worldwide, being the second major cause of death in developed countries. Furthermore, it is also a major cause of disability, having a huge burden in society. World Health Organization predicts that a stroke event occurs at each two seconds. Stroke is categorized either as haemorrhagic or ischaemic, being the latter the most common type of stroke. Neuroimaging acquisitions play an important role during clinical assessment, evaluation and treatment planning. The most commonly used imaging technique is the Computerized Tomography, due to its availability and operational costs. Nonetheless, when available, Magnetic Resonance Imaging is preferred due to its higher capability in characterizing soft tissues, and capacity to detect early levels of ischemia. Onset neuroimaging acquisitions allow the physicians to locate and assess the brain tissue that can be recovered, which plays an important role during the treatment planning and follow-up. However, in a context where time equates to the loss of healthy brain tissue, physicians need to ponder the benefits and risks of performing clinical intervention, based on rough manual delineations and on clinical experience to predict the infarct growth across time. These tasks are time-consuming and prone to intra- and inter-physician variability. Hence, automatic prediction of stroke lesions based on onset neuroimaging acquisitions is needed to help and guide the physicians during the decision making process. The development of automatic methods is however an intricate task, due to the variety of stroke lesions, the underlying brain perfusion and diffusion processes, as well as the variability of Magnetic Resonance scans, their poor resolution and fast acquisitions. Machine Learning comprehends a vast number of algorithms that aim to learn patterns from data, in order to achieve a specific goal or perform a specific task. One category of Machine Learning is the Representation Learning, where algorithms learn how to extract discriminative features directly from the input data. Among these methods, Deep Learning is a group of Representation Learning, which employs several levels of abstraction that characterize the input data. Thus, Convolutional and Recurrent Neural Networks were studied and applied for predicting the final stroke lesion. Three different lines of research were conducted. One research line focus on combining raw imaging data with the standard maps used in clinical practice. We demonstrate the added value of considering both data types in dedicated learning paths. Furthermore, we provide evidence on the impact of performing temporal pre-processing without hindering the performance of our method. A second line of research focused on studying and proposing methods that merge imaging with non-imaging data. To consider the latter clinical data we propose a custom loss function, to guide the learning process of the Deep Learning neural network, as well as an additional input channel, to consider patient-specific data. Lastly, we consider an unsupervised learning approach with the goal of characterizing the underlying distribution of the data. Considering the unsupervised learning block allowed us to demonstrate its discriminative power, and ground-breaking results. Additionally, we demonstrate the added value of considering Gated-Recurrent Neural Networks embedded in a Fully Convolutional Network. All the methods developed during this thesis were trained and evaluated in publicly available datasets. This allows a fair comparison among state of the art proposals, and future comparisons with the different proposals contained in this thesis.