MulletBench: Multi-layer Edge Time Series Database Benchmark

Abstract

Internet of Things (IoT) systems generate massive amounts of time series data that need to be stored for historical analysis. As a result, Database Management Systems (DBMSs) for these scenarios have particular requirements in their ability to ingest large amounts of data and to optimise aggregation, filtering and time-ranged queries over this data, which are essential for historical analysis. Through the use of Fog Computing, combining both Edge and Cloud layers, it is possible to achieve reduced latency and increased scalability, privacy and connectivity through the Edge, while still benefiting from the enhanced computing and storage power of the Cloud. This has led to the development of Fog DBMSs. Database benchmarking allows standardising performance assessment and comparison of different solutions. However, current time series database benchmarking tools are not designed for multi-layer architectures, such as the ones used by Edge-Cloud hybrid DBMSs. This thesis proposes MulletBench, a benchmarking tool that is able to evaluate the internal load balancing capabilities of a multi-layer Time Series Database Management System (TSDBMS). This is achieved by integrating automated deployment features, per-node and per-layer performance and system resource metrics, allowing for a more detailed analysis of the SUTs’ performance than previously possible. The performance of InfluxDB and IoTDB is evaluated using the developed tool, comparing their performance in multiple workloads and deployment scenarios. Results show that the Edge layer can be used to improve performance by distributing the workload over multiple layers and performing downsampling at the Edge layer, increasing overall throughput and reducing latency at the Cloud. These conclusions are enabled by MulletBench’s novel features, and would not have been possible with previously existing solutions.

Os Sistemas de Internet das Coisas (IdC) geram enormes quantidades de dados de séries temporais que precisam de ser armazenados para análise histórica. Consequentemente, os sistemas de gestão de bases de dados (SGBD) para estes cenários têm requisitos particulares não só para a sua capacidade de ingerir grandes quantidades de dados mas também para a sua capacidade de otimizar queries de agregação ou filtragem e em intervalos de tempo sobre estes dados, que são essenciais para análise histórica. Através do uso de computação em Fog, combinando as camadas de Edge e Cloud, é possivel conseguir latência reduzida e maior escalabilidade, privacidade e conectividade através da Edge, beneficiando simultaneamente do superior poder de computação e armazenamento da Cloud. Isto levou ao desenvolvimento de sistemas de gestão de bases de dados Fog. O Benchmarking de bases de dados permite a estandardização do método de avaliação de desempenho e a comparabilidadde de resultados de diferentes soluções. Contudo, as atuais ferramentas de benchmarking para bases de dados de séries temporais não estão desenhadas para arquiteturas multi-camada, tais como as utilizadas por SGBDs híbridos Edge-Cloud. A tese propõe o MulletBench, uma ferramenta de benchmarking capaz de avaliar as capacidades de balanceamento interno de carga de um SGBD de séries temporais multi-camada. Esta ferramenta alcança o através da integração de funcionalidades de automação de deployment e métricas de desempenho e de recursos de sistema por nó e por camada, permitindo uma análise mais detalhada do desempenho dos sistemas testados do que era previamente possível. O desempenho das bases de dados InfluxDB e IoTDB é avaliado usando a ferramenta desenvolvida, comparando o seu desempenho com multiplas cargas e em multiplos cenários. Os resultados demonstram que a camada Edge pode ser usada para melhorar o desempenho destas, através da distribuição da carga por múltiplas camadas e realização de downsampling na camada Edge, aumentando o débito total e reduzindo a latência na Cloud. Estas conclusões são possíveis graças às funcionalidades inovadoras do MulletBench, e não seriam possíveis com soluções existentes anteriormente.