Performance and carbon footprint modelling of irregular tasks

Abstract

High-Performance Computing (HPC) systems face increasing challenges in energy efficiency and resource management as computational demands grow. A central concern is the carbon footprint of irregular tasks, which exhibit unpredictable runtime and power consumption patterns, complicating job scheduling. Efficient scheduling requires differentiating between regular, predictable jobs and irregular ones, allowing for customized scheduling that reduces energy consumption and enhances performance. Furthermore, there is a notable lack of real-world HPC data, which necessitates the creation of synthetic datasets. These datasets are essential for enabling predictive modeling of job characteristics, as machine learning models require substantial data volumes for optimal accuracy. To address these challenges, this study explores machine learning-based techniques for predicting job characteristics in HPC systems. By generating and analyzing a synthetic dataset derived from existing job metrics, predictive models capable of classifying regular versus irregular jobs and estimating key performance metrics was developed. Specifically, an ExtraTreesClassifier model, achieving 96.7% accuracy in job classification. Additionally, subsequent regression models predict runtime and power consumption, attaining a Mean Absolute Error (MAE) of 495 seconds and 280 watts, respectively. These predictions support more efficient scheduling strategies, optimizing both resource utilization and energy demands in HPC systems.

Os sistemas de Computação de Alto Desempenho (HPC) enfrentam desafios crescentes em eficiência energética e gestão de recursos à medida que as exigências computacionais aumentam. Uma preocupação central é a pegada de carbono de tarefas irregulares, que apresentam padrões imprevisíveis de tempo de execução e consumo de energia, dificultando o agendamento de tarefas. O agendamento eficiente requer a distinção entre tarefas regulares e previsíveis e tarefas irregulares, permitindo um agendamento personalizado que reduz o consumo de energia e melhora o desempenho. Além disso, existe uma escassez significativa de dados reais de HPC disponíveis, o que torna essencial a criação de conjuntos de dados sintéticos. Estes conjuntos de dados são cruciais para possibilitar a modelagem preditiva das características das tarefas, pois os modelos de aprendizagem automática exigem grandes quantidades de dados para uma performance ótima. Para abordar estes desafios, este estudo investiga técnicas baseadas em aprendizagem automática para prever as características das tarefas em sistemas de HPC. Através da criação e análise de um conjunto de dados sintético derivado de métricas de tarefas existentes, desenvolveram-se modelos preditivos capazes de classificar tarefas regulares versus irregulares e de estimar métricas de desempenho chave. Especificamente, utilizaram-se um ExtraTreesClassifier, atingindo uma precisão de 96,7% na classificação das tarefas. Adicionalmente, modelos de regressão subsequentes prevêem o tempo de execução e o consumo de energia, alcançando um Erro Médio Absoluto (MAE) de 495 segundos e 280 watts, respetivamente. Estas previsões apoiam estratégias de agendamento mais eficientes, otimizando tanto a utilização de recursos quanto as necessidades energéticas em sistemas de HPC.