Benchmark de tecnologias de cloud data warehouse existentes no mercado atual

Abstract

Ao longo das últimas duas décadas a forma como os recursos de computação são desenvolvidos, implementados, atualizados e pagos foi drasticamente alterada, onde cada vez mais as soluções de software e hardware são transferidas para tecnologias cloud. Os Data Warehouses (DW), definidos como uma forma de organizar os dados corporativos de maneira integrada, num histórico variável no tempo e de modo a gerar uma única fonte de dados, também foram afetados com esta evolução, surgindo assim o conceito de Cloud Data Warehouse (CDW). Esta tecnologia permite que os utilizadores sejam mais livres tecnologicamente, pois não necessitam de despender tempo a investir em software e hardware, pagam apenas pelos recursos utilizados e a infraestrutura em si apresenta uma maior flexibilidade e escalabilidade. No entanto, selecionar a tecnologia mais adequada para um CDW pode ser uma tarefa complexa, devido ao grande número de fatores que podem influenciar a decisão e devido à oferta existente no mercado, e as empresas devem estudar e entender cada plataforma antes da sua tomada de decisão final, de modo a selecionarem o que melhor corresponde aos seus requisitos. O objetivo da presente dissertação é a análise de um conjunto de plataformas de CDW presentes no mercado atual, com o objetivo de realizar um benchmarking entre estas, após a construção de um ambiente de CDW em cada uma, apurando assim as suas vantagens e desvantagens. Essas plataformas são, respetivamente, o Snowflake, o Google BigQuery, o Amazon Redshift, o Azure Synapse. Para tal, serão analisadas e investigadas características tais como arquitetura, escalabilidade, segurança e conformidade, suporte de dados e preços, e ainda medidas e avaliadas métricas como o tempo de carregamento de dados e de execução de queries. Todo o processo de construção dos CDW e avaliação do seu desempenho encontra-se descrito no presente documento.

Over the past two decades, the way computing resources are developed, deployed, upgraded, and paid for has changed dramatically, with more and more software and hardware solutions being transferred to cloud technologies. Data Warehouses (DW), defined as a way of organizing corporate data in an integrated manner, in a variable history over time and in order to generate a single data source, were also affected by this evolution, thus giving rise to the concept of Cloud Data Warehouse (CDW). This technology allows users to be more technologically free, as they do not need to spend time investing in software and hardware, they only pay for the resources used and the infrastructure itself has greater flexibility and scalability. However, selecting the most suitable technology for a CDW can be a complex task, due to the large number of factors that can influence the decision and due to the existing offer in the market, and companies must study and understand each platform before their final decision, in order to select the one that best matches their requirements. The objective of this dissertation is to analyze a set of CDW platforms present in the current market, with the objective of performing a benchmarking between them, after building a CDW environment in each one, thus determining their advantages and disadvantages. These platforms are, respectively, Snowflake, Google BigQuery, Amazon Redshift, and Azure Synapse. To this end, characteristics such as architecture, scalability, security and compliance, data support, and pricing will be analyzed and investigated, as well as metrics such as data loading and query execution times. The entire process of building CDWs and evaluating their performance is described in this document.