Armazenamento confiável e em larga escala para aplicações compatíveis com POSIX

Abstract

A Internet of Things (IoT) é uma das áreas tecnológicas que necessita de sistemas distribuídos que suportem o armazenamento e acesso à enorme quantidade de dados constantemente produzidos por centenas a milhares de dispositivos. Até agora, a maioria dos sistemas desenvolvidos encontravam-se adaptados a instalações em centro de dados, impulsionados pela adoção de serviços de computação em nuvem, porém, o sistema distribuído Large Scale File System (LSFS), veio mudar o paradigma atual e mover o armazenamento distribuído para infraestruturas totalmente descentralizadas. Este é um sistema de ficheiros peer-to-peer não estruturado, parcialmente compatível com a interface POSIX, que permite a realização de leituras por parte de múltiplos utilizadores, mas escritas por parte de um só utilizador. Foi construído para atingir alta disponibilidade e resiliência e encontra-se preparado para escalar para infraes truturas do futuro. Todavia, o LSFS não apresenta operações essenciais de um sistema de ficheiros, como a eliminação ou modificação de dados, a grande carga que é exercida sobre a rede tem consequências negativas no sistema como um todo e a forma como este foi avaliado levanta várias questões. Com o propósito de resolver estes desafios, desenvolveu-se o improved Large Scale File System (iLSFS), um sistema de ficheiros que estende o sistema LSFS, dotando-o de uma melhor usabilidade, mas preservando todas as suas características fundamentais como a escalabilidade, a resiliência e a disponi bilidade. Para isso, o sistema adota soluções, como Tombstones, que viabilizam a eliminação de dados e a disponibilização de uma interface com maior compatibilidade com o standard POSIX, implementa métodos, como Version Vectors, que permitem o controlo de concorrência entre múltiplos utilizadores, e mecanismos, como caches, que ajudam a mitigar o problema de saturação da rede. Os resultados obtidos, demonstram que o iLSFS, com todas as funcionalidades introduzidas, apre senta uma melhor usabilidade sem, no entanto, comprometer significativamente o desempenho. Quando introduzido num caso de estudo real, demonstra-se que o sistema é capaz de escalar para ambientes de larga escala, com centenas de nodos, e mesmo quando submetido a cenários de instabilidade, onde a ocorrência de falhas aleatórias é a norma, o iLSFS mostra-se capaz de tolerar a falha de uma grande quantidade de nodos de armazenamento, sem que esta provoque uma disrupção do seu funcionamento.

The Internet of Things (IoT) is one of the main technological areas that widely needs distributed sys tems to accommodate the storage and access to large amounts of data, being continuously produced by hundreds to thousands of devices. Until now, most developed systems were adapted to data centers installations, driven by the adoption of the cloud, nonetheless, one system, the Large Scale File System (LSFS), is attempting to change the current model and move the distributed storage to highly decentral ized infrastructures. This is an unstructured peer-to-peer file system, partially compatible with the POSIX interface, that allows multi-user reads, but only single-user writes. It was built to achieve high availability and resilience, and was designed to scale for the infrastructures of the future. However, LSFS does not offer key operations of a traditional file system, such as deleting and modifying files, the large load that is exerted over the network has negative consequences on the system, and its evaluation raises various concerns. In order to solve these challenges, the improved Large Scale File System (iLSFS) was developed, an extension of the LSFS system, providing it with better usability, but preserving all the fundamental features, its scalability, resilience and availability. To do so, the system adopts solutions, e.g., Tombstones, which allow the development of the delete operation and the provision of a more complete POSIX interface, implements methods, such as Version vectors, which enable for concurrency control among multiple users in the file system, and mechanisms, namely caches, that help mitigate the network saturation problem. The experimental results show that iLSFS, with all its features, presents better usability, without sig nificantly compromising performance. When placed in a real case study, it is further demonstrated that the system is capable of scaling to large scale environments, with hundreds of nodes, and that even when subjected to unreliable scenarios, in which the occurrence of random failures is the norm, iLSFS proves to be capable of tolerating the failure of a large number of storage nodes, without causing the disruption of its normal operation.