Transformação de especificações ETL em YAWL para processos Kettle

Abstract

YAWL é uma linguagem gráfica para a especificação de processos, com uma semântica bem definida, que permite o desenho, especificação, simulação e validação de sistemas, cujos processos a modelar exijam características específicas de comunicação, concorrência e sincronização entre si. A YAWL é baseada, por um lado, em padrões bem definidos de fluxo de trabalho e, por outro, nas conhecidas Redes de Petri Coloridas. Devido às suas características, vários estudos utilizaram esta linguagem na modelação de sistemas de ETL (Extract-Transformation-Load), tentando facilitar e agilizar todo este processo. Este trabalho de dissertação teve como objetivo desenvolver e implementar um sistema de geração de “esqueletos” para sistemas de ETL a partir de um conjunto de especificações YAWL. Nesse sentido, foi idealizado e desenvolvido um sistema capaz de representar e produzir de forma semi-automática a configuração de processos ETL para várias ferramentas de implementação de processos ETL, nomeadamente Kettle, Informatica e Talend, todas elas ferramentas conceituadas no mercado dos sistemas de povoamento de data warehouses. Nesta dissertação apresentamos e descrevemos tal sistema, desde as suas fases de fundamentação e conceptualização até às suas fases de teste e exploração.

YAWL is a graphical language with a well-formed semantics, that allows the design, specification, simulation, and validation of systems where the processes to model have specific characteristics such as, communication, concurrency and synchronization. It is based, on one hand, on well-formed workflow patterns and on the other standards known as the Colored Petri Nets. Due to its characteristics several studies have used this language in the modeling of ETL (Extract Transformation-Load) systems, trying to facilitate and improve uppon this process. The main goal of this dissertation was to develop and implement a system for the generation of skeletons for ETL systems from YAWL. A system was designed and developed to represent the semi-automatic generation of ETL process for some ETL tools, namely Kettle, Informatica and Talend, all of them renowned tools to populate data warehouses. In this dissertation we present and describe such a system, from its founding and conceptualization phases to its testing and exploration phases.