Injeção de faltas reprodutível em sistemas de armazenamento local

Abstract

A era digital trouxe a incorporação dos computadores em vários setores do nosso quotidiano. Tem-se verificado, ao longo dos anos, uma crescente dependência na tecnologia, o que se traduz na necessidade de sistemas cada vez mais resilientes, rápidos, seguros e disponíveis. Consequentemente, a complexidade dos sistemas tem vindo a crescer, o que leva à implementação de mecanismos de persistência e atualização de dados mais difíceis de testar. Para elevar o nível de dificuldade, os diversos sistemas de ficheiros possuem particularidades que afetam de forma significativa estes mecanismos e a consistência das aplicações após a ocorrência de falhas de energia e dos sistemas operativos. Evitar a perda total ou parcial dos dados deve ser um ponto fulcral para sistemas de armazenamento com fortes garantias de durabilidade e coerência. Na literatura, os sistemas capazes de voltar a um estado coerente após uma falha de energia são chamados de crash-consistent. Muito do trabalho relacionado foca-se na crash consistency dos sistemas de ficheiros e, quando se foca nas aplicações, verifica-se a falta de ferramentas para reprodução de bugs. Quando um utilizador reporta problemas encontrados numa dada aplicação, é útil para as equipas de desenvolvimento terem uma ferramenta que rapidamente reproduz o bug e ajude na sua correção. Esta dissertação propõe o LazyFS+, um sistema de ficheiros que simula a perda total e parcial de dados através da injeção de faltas baseada em software. A nossa solução possui uma cache interna, o que permite uma gestão determinística dos dados das aplicações e a injeção de faltas reprodutível. Um dos seus pontos fortes é o facto de imitar comportamentos que alguns sistemas de ficheiros apresentam, como a reordenação de escritas, sem se prender a uma implementação específica. Para além disso, facilita a análise das operações executadas pela aplicação e permite obter informação sobre os dados não sincronizados. O LazyFS+ provou-se útil através da reprodução de bugs já conhecidos e da identificação desses mesmos bugs em versões antigas das aplicações, nunca antes reportados. Para além disso, foi possível encontrar novos bugs, quer em versões antigas, quer em versões mais recentes das aplicações. Estes últimos foram reportados com todos os passos de reprodução realizados com o LazyFS+. Como resultado, atualmente este está a ser integrado nos testes do sistema de armazenamento chave-valor etcd.

The digital era has brought the incorporation of computers into various sectors of our daily lives. Over the years, there has been an increasing dependence on technology, which translates into the need for increasingly resilient, fast, secure and available systems. Consequently, the complexity of systems has been growing, which leads to the implementation of data persistence and update mechanisms that are more difficult to test. To increase the level of difficulty, the different file systems have particularities that significantly affect these mechanisms and the consistency of applications after power and operating system failures. Avoiding total or partial loss of data must be a key point for storage systems with strong guarantees of durability and consistency. In the literature, systems capable of returning to a consistent state after a power failure are called crash consistent. Much of the related work focuses on the crash consistency of file systems, and when it focuses on applications, there is a lack of tools for reproducing bugs. When a user reports issues encountered in a particular application, it is useful for development teams to have a tool that quickly reproduces the bug and helps with its fix. This dissertation proposes LazyFS+, a file system that simulates total and partial data loss through software-based fault injection. Our solution has an internal cache, which allows deterministic management of application data and reproducible fault injection. One of its strengths is the fact that it imitates beha viors that some file systems present, such as the reordering of writings, without being tied to a specific implementation. Furthermore, it facilitates the analysis of the operations carried out by the application and allows to obtain information about unsynchronized data. LazyFS+ proved useful by reproducing already known bugs and identifying these same bugs in older versions of applications, never before reported. Furthermore, it was possible to find new bugs, both in old and newer versions of the applications. The latter were reported with all reproduction steps performed with LazyFS+. As a result, this is currently being integrated into testing of the etcd key-value store.