Controlo energético de GPU em sistemas de Deep Learning

Abstract

A área da Aprendizagem Profunda sofreu uma enorme expansão nos últimos anos, com modelos cada vez mais complexos e datasets cada vez maiores. Devido à crescente complexidade dos modelos, foi adotado o uso das GPUs para o seu treino, tornando este processo mais eficiente. No entanto, o crescimento progressivo do poder de processamento destes dispositivos causou um aumento do seu consumo energético. Para além da GPU, o processo de treino de um modelo de AP utiliza todos os outros recursos existentes num servidor: disco, RAM e CPU, podendo ainda recorrer à rede no caso de treino distribuído e nos casos em que o dataset está em armazenamento remoto. Quando o gargalo é qualquer outro recurso que não a GPU significa que o treino dos fragmentos neste recurso é mais rápido do que a reposição de novos fragmentos, ficando a GPU inutilizada até ao momento em que esse carregamento é concluído. Por padrão, a GPU opera à frequência máxima de forma a terminar o treino o mais rápido possível mas, nesta situação, acaba por ficar inativa. Por atuar a alta frequência apresenta um elevado consumo energético durante o treino, consumindo também energia durante o período de inutilização. Através do ajuste de frequência da GPU é possível diminuir o custo energético associado ao treino de modelos. No entanto, este ajuste deverá ter em conta as características da carga de trabalho por forma a não degradar o seu tempo de execução. De forma a resolver estes problemas, esta dissertação apresenta o WAFT, um novo sistema de otimização energética de GPUs especificamente concebido para treino de modelos de AP. Este sistema recorre ao ajuste dinâmico da frequência da GPU reconhecendo as várias fases de uma iteração. Adicionalmente, adapta o seu comportamento às característica do modelo e do hardware, de forma a diminuir o consumo energético sem prejudicar o tempo de execução. Através de uma avaliação experimental compreensiva, mostramos que o WAFT consegue diminuir o consumo energético até 42% em relação aos cenários usados em ambientes de produção. Ainda, quando comparado com soluções do estado da arte, o WAFT apresenta ganhos de poupança energética até 29%.

In recent years, Deep Learning (DL) has experienced massive growth, using increasingly complex models and larger datasets. Due to the rising complexity of models, the use of GPUs to train these has become prevalent due to their efficiency in the training process. However, the progressive growth of the processing capabilities of these devices came at the cost of higher energy consumption. Besides using the GPU, the training process of a DL model also uses the remaining resources in a server: disk, RAM and CPU, it may even resort to the network when it comes to distributed training or when the dataset is stored remotely. When the bottleneck is a resource other than the GPU, the training of samples on this resource is faster than the loading of new samples, leaving the GPU idle until the moment the loading is complete. By default, the GPU operates at its maximum frequency in order to finish the training as fast as possible, however, in this situation, it comes to a halt. As a result of running at maximum frequency, it exhibits significant energy consumption during training, even under idle periods. While adjusting the GPU frequency allows decreasing the energy consumption associated with model training, this adjustment must take into consideration the workload’s characteristics to guarantee the training time doesn’t increase. To address these problems, this dissertation proposes WAFT, a novel GPU energy optimization system specifically designed for DL model training. It dynamically adjusts the GPU frequency by recognising the different phases of an iteration. Additionally, it adapts its behaviour to the model and hardware characteristics in order to decrease the energy consumption without compromising the execution time. Through a comprehensive experimental evaluation, we show that WAFT decreases training energy consumption up to 42% when compared to scenarios used in production environments.