Real-time segmentation and tracking of 3D transesophageal echocardiographic images to improve transcatheter aortic valve implantation

Abstract

Aortic stenosis (AS), a condition in which the aortic valve (AV) calcifies and obstructs the blood flow from the left ventricle to the aorta, is the most common acquired valvular heart disease in the elderly population. Among the available therapies, transcatheter AV implantation (TAVI) has had a continuously growing worldwide indication for patients with symptomatic, severe AS. During this minimally invasive percutaneous intervention, a prosthetic valve is delivered inside a catheter and deployed under imaging guidance at the aortic annulus’ level, without removing the native damaged valve. Despite its high success rate, procedural complications are frequent, including moderate or severe paravalvular regurgitation (PVR), damage to neighbor structures, heart conduction disturbances requiring a permanent pacemaker implantation, among others. In spite of numerous clinical and technological advances presented since its introduction by all stakeholders involved, there is still a lack of consensus regarding the ideal clinical, imaging and technological setting to plan it, to perform it and to evaluate its outcomes. Notwithstanding, it is accepted that most of the aforesaid complications could be avoided, or at least their impact minimized, by an adequate preoperative planning combined with a precise intraoperative image-based guidance, and followed by an accurate postoperative quality assurance of the implanted prosthesis. With this in mind, this work aimed at developing novel medical imaging processing solutions to help throughout all TAVI stages, focusing particularly in potentiating the use of 3D transesophageal echocardiography (TEE) within its clinical workflow. Aiming at an adequate preoperative planning, a fully automatic pipeline for AV tract segmentation and prosthesis sizing from 3D-TEE images was developed and validated. This framework proposed, for the first time, the extension of the B-spline Explicit Active Surfaces (BEAS) framework towards a shapebased deformable model strategy, allowing to combine BEAS’ computational efficiency with the shape information provided by statistical shape models. The framework was shown to be feasible, accurate, robust and time efficient, allowing to extract accurate measurements without user-induced variability while significantly reducing the analysis time. This pipeline was then integrated in an in-house visualization and analysis software suite, combined with interactive tools, and validated in an extensive clinical database with both 3D-TEE and multidetector computer tomography (MDCT) images. Overall, the software-based prosthesis sizes were concordant with those extracted by MDCT- and TEE-based manual sizing strategies, ultimately demonstrating the software’s potential interest to facilitate the analysis of 3D-TEE images. Moreover, to allow a multimodality planning, this framework was then adapted for a fully automatic assessment of MDCT images, showing an excellent agreement with manually-derived measurements. A semi-automatic framework for 3D cardiac magnetic resonance images was also proposed. Aiming at further assisting the planning stage and help during the intraoperative scenario, a novel algorithm for efficient and robust image-based tracking in 3D-TEE images was proposed. Hereto, a novel localized anatomical affine optical flow tracking (AAOF) strategy was presented, showing an increased ability to capture an object’s local motion and deformation. Based on this algorithm, a two-step tracking method was proposed for fast, automatic AV tract tracking in 3D-TEE images, which may be used to extract dynamic AV measurements at the TAVI planning or augment these images with relevant medical annotations during intraoperative guidance. The methodology was quantitatively validated for the former, demonstrating to be feasible, accurate and robust. Furthermore, given the vast clinical and research interest in image tracking solutions, several variants of the proposed object-based image tracking method were combined in a novel user-friendly software package – the Medical Image Tracking Toolbox (MITT). This toolbox was designed to ease the customization of image tracking solutions in the medical field, allowing to track multiple types of objects in both 2D and 3D image sequences. Illustrative examples from the cardiology field were provided, demonstrating the versatility, simplicity and time efficiency of MITT. Finally, aiming at helping the development of postoperative quality assurance tools, synthetic 3D color Doppler ultrasound (US) images that mimic cases of post-implantation PVR in TAVI patients were generated using an US simulation-based pipeline. These simulated volumes can mimic distinct levels of PVR severity, and may be used to validate novel methodologies for PVR quantification or to study clinicallyused color Doppler parameters for PVR grading. A preliminary clinical study focusing on the latter was presented, shedding light on important issues that must be taken into account during PVR quantification. Overall, this work contributed with a vast set of intertwined algorithms, which may aid physicians at the pre-, intra- and postoperative stages of TAVI, and ultimately ease and improve its clinical workflow and thus benefit both the patients and the physicians.

A estenose aórtica, doença na qual a válvula aórtica calcifica e obstrui o fluxo de sangue do ventrículo esquerdo para a aorta, é a valvulopatia adquirida mais comum na população idosa. Entre as terapias disponíveis, a implantação valvular aórtica percutânea (IVAP) tem tido uma aceitação crescente a nível mundial para pacientes sintomáticos com estenose aórtica grave. Nesta intervenção minimamente invasiva, uma válvula prostética é posicionada, com recurso a imagiologia médica, ao nível do anel aórtico, sem remover a válvula nativa danificada. Apesar da alta taxa de sucesso, complicações no decorrer desta intervenção são frequentes, e incluem regurgitação paravalvular (RPV) moderada ou severa, dano nas estruturas vizinhas, distúrbios da condução elétrica cardíaca com necessidade de implantação de pacemaker permanente, entre outras. Embora múltiplos avanços clínicos e tecnológicos tenham sido propostos desde a sua introdução, ainda existe uma falta de consenso quanto ao cenário clínico, imagiológico e tecnológico ideal para planear, executar ou avaliar os resultados desta intervenção. Não obstante, é aceite que muitas das complicações acima mencionadas podem ser evitadas, ou pelo menos o seu impacto minimizado, por um planeamento pré-operatório adequado, combinado com uma implantação intraoperatória guiada por imagem precisa, e seguido por uma avaliação pós-operatória do sucesso obtido na colocação da válvula prostética. Deste modo, este trabalho visou o desenvolvimento de novas soluções de processamento de imagem médica para ajudar nos vários estágios da IVAP, focando em potenciar particularmente o uso do ecocardiograma transesofágico (ETE) tridimensional em todas as fases desta intervenção. No sentido de melhorar o planeamento pré-operatório, foi desenvolvido e validado um algoritmo automático de segmentação do trato aórtico e de dimensionamento da válvula prostética a partir de imagens de 3D ETE. Este algoritmo propõe a extensão da framework “B-spline Explicit Active Surfaces” (BEAS) para uma técnica de modelos deformáveis baseados na forma. O algoritmo automático mostrou ser viável, preciso, robusto e computacionalmente eficiente, permitindo a extração de medidas precisas sem, contudo, depender do utilizador e reduzindo significativamente o tempo de análise. Este algoritmo foi ainda integrado num software de visualização e análise de imagens, combinado com ferramentas interativas, e validado numa base de dados clínica extensa com imagens de 3D ETE e de tomografia axial computadorizada (TAC). O dimensionamento automatizado da prótese mostrou ser concordante com as medidas extraídas por estratégias manuais de dimensionamento em imagens de 3D ETE e TAC. Além disso, de modo a permitir um planeamento baseado em múltiplas modalidades de imagem, o algoritmo proposto foi adaptado para um dimensionamento automático em imagens de TAC, mostrando resultados excelentes quando comparados com medidas extraídas manualmente. Mais ainda, foi proposto um algoritmo semiautomático adaptado para imagens de ressonância magnética cardíaca 3D. Com o objetivo de ajudar na intervenção, mas também auxiliar o planeamento, foi proposto um novo algoritmo para tracking de imagens de 3D ETE, denominado “localized anatomical affine optical flow”. Esta estratégia provou ser capaz de capturar localmente os movimentos e deformações do objeto em estudo. Com base neste algoritmo, foi proposta uma nova metodologia rápida e automática para tracking da parede do trato aórtico em imagens de 3D ETE, a qual pode ser usada para extrair medidas dinâmicas da válvula aórtica durante a fase de planeamento ou para sobrepor anotações médicas em imagens intraoperatórias com vista a simplificar a implantação da válvula prostética. A metodologia foi validada para a extração dinâmica de medidas, demonstrando ser viável, precisa e robusta. Além disso, dado o vasto interesse clínico e de investigação em soluções de tracking de imagens, várias variantes do algoritmo proposto foram combinadas numa toolbox, denominada “Medical Image Tracking Toolbox”. Esta toolbox foi projetada para facilitar a personalização de soluções de tracking de imagens médicas, permitindo efetuar o tracking de múltiplos tipos de objetos em imagens dinâmicas 2D e 3D. A versatilidade, simplicidade e eficiência computacional desta toolbox foi demonstrada com recurso a múltiplos exemplos de aplicações em cardiologia. Por fim, e com o intuito de melhorar o atual processo de avaliação pós-operatória na identificação de possíveis complicações, foi demonstrado o uso de um simulador de imagens de ultrassom para gerar volumes de ultrassonografia com Doppler colorido que simulam casos de RPV pós-operatória, com níveis de severidade distintos, em pacientes de IVAP. Estas imagens sintéticas podem ser usadas para validação de novas metodologias para quantificação da RPV ou para estudar parâmetros clínicos extraídos a partir deste tipo de imagens e usados para classificar a severidade desta. Um estudo clínico preliminar de alguns destes parâmetros foi apresentado, evidenciando fatores importantes a serem tidos em conta para a quantificação precisa da regurgitação paravalvular pós-IVAP. Em suma, este trabalho contribuiu com um vasto conjunto de algoritmos interligados, os quais visam auxiliar os intervencionistas nos estágios pré-, intra- e pós-operatórios da IVAP e, assim, facilitar e melhorar o procedimento clínico em geral e beneficiar tanto os pacientes como os próprios médicos.