Comprehensive study of the energy impact of LSM-based key-value stores

Abstract

The exponential growth in digital data—from mobile devices, social media and IoT devices—has created an escalation of information travelling from the edge to the core layer. The core layer plays a crucial and central role in storage, analytics, and service delivery. Key Value Store (KVS) as RocksDB, Cassandra, among others, are widely used in the core layer due to their high throughput and low-latency solutions for managing and storing real-time data of large volumes of small-sized data. Recent efforts have been made to reduce the carbon footprint of data centres while improving their energy efficiency. However, due to the end of the Dennard scaling, reducing hardware energy consumption comes at the cost of worse performance. A shift to improving the energy efficiency of data centres through a software-centric approach is expected. As KVS support a significant share of services hosted in data centres, it is crucial to evaluate and improve their energy efficiency. Nonetheless, improvements in KVS have focused on performance and have neglected the energy impacts of their decisions. To the best of our knowledge, no existing KVS is solely designed with energy efficiency in mind, and there are no studies evaluating the energy profile of existing KVS. Evaluating the energy of these systems requires access to fine-grained energy monitoring tools, capable of capturing the energy of internal events. Notwithstanding, existing tools cannot capture energy at such fine granularity. To facilitate the development of energy-aware KVS, we present an in-depth experimental study that characterises the energy consumption patterns of RocksDB, a widely used LSM-Tree KVS. We also present PowMon, a fine-grain energy monitoring tool capable of monitoring energy at the application, thread, and event levels to support this study’s energy readings. The study shows that energy efficiency is highly dependent on workload, data distribution, and hardware properties, underscoring the need for profiling when choosing the most energy-efficient configuration setup. Furthermore, the insights in this work can be used by KVS designers to create a more energy-aware KVS and also enable them to compare energy efficiency results against a RocksDB baseline efficiency benchmark.

O aumento exponencial da informação digital—de dispositivos móveis, redes sociais e dispositivos KVS—tem criado um escalar de informação a ser transportada desde a periferia até à camada central de dados, responsável por serviços críticos de armazenamento, análise e processamento. Por outro lado, esforços recentes estão a ser feitos para reduzir a camada de carbono de centros de dados e melhorar a eficiência energética destas infraestruturas. No entanto, devido ao fim da escala de Dennard, reduzir o consumo energético do hardware só é possível com perdas de desempenho. Desta forma é esperado haver uma mudança de paradigma e resolver este problema através de uma perspetiva de software. Como KVS suportam uma percentagem considerável de serviços hospedados nos centros de dados, é crucial avaliar e melhorar a sua eficiência energética. Não obstante, desenvolvimentos de KVS têm se focado melhorias de desempenho e têm negligenciado os seus impactos energéticos. Tanto quanto sabemos, não existem estudos que avaliam o perfil energético destes sistemas de armazenamento. Avaliar a energia destes sistemas requer acesso a ferramentas energéticas de grão-fino, capazes de medir a energia de eventos internos, no entanto, ferramentas existentes não são capazes de medir energia a esta granularidade. De forma a facilitar o desenvolvimento de KVS que sejam conscientes do seu consumo energético, apresentamos um estudo experimental compreensivo que caracteriza padrões de consumo de energia do RocksDB, uma LSM-Tree KVS muito utilizada na indústria. Também apresentamos PowMon, uma ferramenta energética de grão-fino, capaz de medir energia ao nível do processo, fio de execução e evento, de forma a suportar os dados energéticos capturados no estudo realizado. O estudo realizado mostra que a eficiência enegética é muito dependente do tipo de carga e padrões de operações realizados, assim como de distribuição de dados e propriedades de hardware, salientando a importância de uma análise prévia para escolher a configuração mais energeticamente eficiente. Além disso, as aprendizagens adquiridas neste estudo podem ser usadas por desenvolvedores de novas KVS de forma a criar sistemas mais eficientes do ponto de vista da energia.