Study of Python-based workflow engines

Abstract

Scientists, engineers, and other professionals across various fields of study seek automated, fast, and cost-effective ways to execute their programs. However, in order to achieve this, it would be necessary to increase the complexity of applications and make constant changes to their code. Workflow management systems are tools capable of executing workflows in different environments, ranging from the local machine to HPC clusters and clouds. Currently, there are several workflow management systems available, which are implemented using different approaches and can be executed on a wide variety of platforms. It is important to let users experiment to compare various tools in different environments, but there is a lack of tools available to conduct these experiments seamlessly. This dissertation presents Huginn, a modular framework designed to automate the process of performance metrics collection of workflow executions using workflow management systems. Huginn enables users to create and execute synthetic workflow applications and generates reports with the metrics collected. This framework leverages the WfCommons Project, which has been expanded with two new translators to allow the creation of synthetic CWL and Snakemake workflow applications. In order to validate our framework, we have created reports for a variety of test cases and conducted a comparative analysis of Toil, Snakemake and Nextflow. The objective of this analysis is to provide an impartial comparison guide to these mainstream workflow management systems in a multi-node environment with different workloads and workflow applications from various scientific domains.

Cientistas, engenheiros e outros profissionais de várias vertentes procuram formas automáticas e rápidas de executar os seus programas. No entanto, para o conseguir, seria necessário aumentar a complexidade das aplicações e efetuar alterações constantes ao seu código. Os sistemas de gestão de fluxo de trabalho são ferramentas capazes de executar fluxos de trabalho em diferentes ambientes, desde a máquina local até clusters HPC e clouds. Atualmente, existem vários sistemas de gestão de fluxo de trabalho disponíveis, que são implementados através de diferentes abordagens e podem ser executados numa grande variedade de plataformas. É importante permitir que os utilizadores façam experiências para comparar várias ferramentas em diferentes ambientes, mas há uma falta de ferramentas disponíveis para realizar essas experiências de forma simples. Esta dissertação apresenta o Huginn, uma framework modular concebida para automatizar o processo de recolha de métricas de performance de execuções de fluxos de trabalho utilizando sistemas de gestão de fluxo de trabalho. O Huginn permite aos utilizadores criar e executar fluxos de trabalho sintéticos e gerar relatórios com as métricas recolhidas. Esta ferramenta recorre ao WfCommons Project, que foi enriquecido com dois novos translators para permitir a criação de fluxos de trabalho sintéticos escritos em CWL e Snakemake. Para validar a nossa framework, foram criados relatórios para uma variedade de casos de teste e efectuada uma análise comparativa entre Toil, Snakemake e Nextflow. O objetivo desta análise é fornecer um guia de comparação imparcial para estes sistemas de gestão de fluxo de trabalho mais utilizados num ambiente multi-node com diferentes cargas de trabalho e tipos de fluxos de trabalho provenientes de vários campos científicos.