Heterogeneous database replication

Abstract

Replication has been a common strategy for improving the dependability of database systems. However, the use of database systems in demanding environments and critical applications calls for the enforcement of stronger dependability properties, in face of generalized fault models that include software bugs and malicious behavior. Commercial database systems assume a crash-recovery model, typically favoring a primary-backup approach for performance and scalability, which is unsuitable for Byzantine fault tolerance as a faulty primary replica can simply propagate errors to the backup replicas. Meanwhile, proposals for Byzantine fault-tolerant replication protocols can mostly be found in the literature and academic tools. However, with very few exceptions, proposed replication protocols, even for Byzantine fault-tolerance, assume replicas are homogeneous and, at the same time, that faults are independent. We question this assumption, particularly considering the complexity of software related to databases, addressing it with a study of the diversity and known vulnerabilities in open-source database software. Experience with existing systems, as captured by vulnerability collections, exposes the possible impact on homogeneous replication. Our study also shows there is sufficient diversity for heterogeneous replication to be feasible, allowing the use replicas with different database engines, software stacks, and even data models. We present data that demonstrates current solutions are suboptimal and propose a novel architecture that leverages the capabilities of LLMs in code translation to enable heterogeneous Byzantine fault-tolerant replication among replicas with multiple data models. We show how LLMs can be useful with practical examples and perform an evaluation of the final system, highlighting a trade-off between fault tolerance and performance.

A replicação tem sido uma estratégia comum para melhorar a fiabilidade dos sistemas de bases de dados. No entanto, a utilização de sistemas de bases de dados em ambientes exigentes e aplicações críticas exige a aplicação de propriedades de fiabilidade mais fortes, face a modelos de falhas generalizados que incluem bugs de software e comportamento malicioso. Os sistemas de bases de dados comerciais assumem um modelo crash-recovery, favorecendo normalmente uma abordagem primária-backup para privilegiar desempenho e escalabilidade, o que é inadequado para a tolerância a falhas Bizantinas, uma vez que uma réplica primária defeituosa pode simplesmente propagar erros para as réplicas de backup. Enquanto isso, as propostas de protocolos de replicação tolerantes a falhas Bizantinas podem ser encontradas principalmente na literatura e em ferramentas académicas. No entanto, com muito poucas exceções, os protocolos de replicação propostos, mesmo para a tolerância a falhas Bizantinas, assumem que as réplicas são homogéneas e, ao mesmo tempo, que as falhas são independentes. Questionamos esta suposição, especialmente considerando a complexidade do software relacionado com bases de dados, abordando-a com um estudo da diversidade e das vulnerabilidades conhecidas em software de bases de dados open-source. A experiência com sistemas existentes, tal como captada pelas coleções de vulnerabilidades, expõe o possível impacto na replicação homogénea. O nosso estudo mostra também que existe diversidade suficiente para que a replicação heterogénea seja viável, permitindo a utilização réplicas com diferentes motores de bases de dados, ambientes de software, e até modelos de dados. Apresentamos dados que demonstram que as soluções atuais são subótimas e propomos uma nova arquitetura que aproveita as capacidades dos LLMs na tradução de código para permitir a replicação heterogénea tolerante a falhas Bizantinas entre réplicas com vários modelos de dados. Mostramos como os LLMs podem ser úteis com exemplos práticos e realizamos uma avaliação do sistema final, destacando um compromisso entre tolerância a falhas e desempenho.