AIoTA: an IoT Platform on MonetDB

Abstract

The growth of the Internet and embedded systems have allowed physical devices to collect and exchange data in the Internet-of-Things (IoT). IoT allows objects to be monitored and controlled remotely across an existing network infrastructure, while creating opportunities to assimilate computer systems with the real world. The expansion of IoT’s connectivity has lead devices to exchange large amounts of data, due to constantly required monitoring. The output of these devices can be seen as streams with data made available incrementally over time. This has created a new demand to collect, process and analyze IoT data in an efficient and scalable way. In the meantime, databases have been organizing collections of data for several decades. At a low level, database management systems (DBMSs) to organize data efficiently. In particular, Data Stream Management Systems (DSMSs) have emerged to handle uninterrupted flows of streaming data and integrate them with relational databases [Aggarwal, 2007]. With this objective in mind, DSMSs have distinguished from traditional DBMSs with new architectures, data models, algorithms and specific query languages to deal with streams. As streams are uninterrupted, DSMSs aim to process them incrementally. This lead to the continuous queries concept, where streaming data is processed with small batches each time. Meanwhile, other database management systems have explored alternate ways to organize data. MonetDB is a pioneer column-oriented relational database management system (RDBMS), storing relations column-wise opposed to rows as the majority of RDBMSs. Columnar-wise storage allows several benefits such as per-column query parallelization, data compression and late materialization. MonetDB is being developed at CentrumWiskunde & Informatica (CWI) in Amsterdam since 1993, having achieved faster benchmark results than popular RDBMSs such as PostgreSQL [Muhleisen, 2014]. This master thesis has the objective to create a streaming engine over MonetDB while focusing on IoT processing. Amsterdam Internet-of-Things App (AIoTA) is a full-stack application aiming to be integrated easily with IoT devices to collect streaming data, while taking advantage of MonetDB’s columnar-wise storage to process it and deliver results immediately.

O crescimento da Internet e dos sistemas embebidos tem permitido expor dispositivos físicos na Internet das coisas (IoT) para a troca de dados. A IoT permite a monitorização de objetos remotamente em infraestruturas de rede criando oportunidades para assimilar a computação com o mundo real. A expansão da conetividade da IoT tem levado esses dispositivos a promover o intercâmbio de grandes quantidades de dados, em maior parte devido a monitorização constante. Os dados resultantes desses dispositivos podem ser visto como streams, onde os dados são disponibilizados incrementalmente com o decorrer do tempo. Como consequência, as streams criaram uma nova forma de colecionar, processar e analisar dados provenientes da IoT de modo eficiente e escalável. Ao mesmo tempo nas últimas décadas, as bases de dados tem organizado coleções de dados. A um nível mais baixo, os sistemas de gestão de bases de dados (DBMSs) tem procurado metodologias para organizar os dados de forma eficiente. Em particular, os sistemas de gestão de streams (DSMSs) tem emergido com novos métodos para lidar com fluxos de dados ininterruptos e integrá-los com as bases de dados convencionais [Aggarwal, 2007]. Com este objetivo em mente, as DSMSs tem-se distinguido dos DBMSs com novas arquiteturas, modelos de dados, algoritmos e linguagens de interrogação para lidar com streams. Como as streams são inenterruptas, as DSMSs tem a finalidade de as processar incrementalmente. Isto levou ao conceito de continuous queries, onde as streams so processadas com pequenas quantidades de cada vez e incrementalmente. Entretanto outros sistemas de gestão de bases dados tem explorado metodologias alternativas para organizar os dados. O MonetDB é um sistema de gestão de bases dados relacional colunar pioneiro, onde as relações são armazenadas por colunas em vez de linhas como a maioria dos RDBMSs. O armazenamento colunar permite vários benefícios que não seriam possíveis com o armazenamento por linhas tais como paralelização de interrogações por colunas, compressão de dados e materilização mais tardia. O MonetDB tem sido desenvolvido pelo Centrum Wiskunde & Informatica (CWI) em Amsterdão desde 1993, tendo alcançado benchmarks com melhores resultados em comparação com populares sistema de gestão de bases dados como o PostgreSQL [Muhleisen, 2014]. Esta tese de mestrado tem o objetivo de criar uma extensão de streaming no MonetDB com focus na IoT. A Amsterdam Internet-of-Things App (AIoTA) é uma aplicação full-stack com o objetivo de ser integrada facilmente com dispositivos IoT para colecionar dados para streams, tendo ao mesmo tempo como vantagem o armazenamento colunar do MonetDB para processar os dados e disponibilizar resultados imediatamente.