Exploração de diferentes técnicas de machine learning para a deteção de padrões de consumo de água

Abstract

A gestão dos recursos hídricos está, cada vez mais, na vanguarda das preocupações globais, impulsionada por uma consciência crescente da escassez de água e da necessidade urgente de soluções sustentáveis, levando os responsáveis pelos sistemas urbanos de distribuição de água a procurar novas estratégias para a sua monitorização e gestão. A deteção de padrões de consumo tem aqui um papel essencial ao permitir compreender as tendências, hábitos e variações no consumo de água. Esta dissertação, realizada em parceria com a Águas do Norte S.A., entidade gestora de sistemas de abastecimento de água, foca-se em técnicas de machine learning e uso de séries temporais para auxiliar na deteção e caracterização de padrões de consumo de água com maior precisão e eficiência. O estudo inicia com um minucioso pré-processamento de dados de consumo, obtidos através de medi dores inteligentes, incluindo o tratamento de anomalias. Diferentes agregações temporais foram também criadas para detetar padrões em escalas variadas, como diária, semanal, mensal, sazonal e anual. Numa análise abrangente foram exploradas as distâncias Euclidiana, DTW (com e sem restrição), e soft DTW, e os algoritmos K-Means, K-Medoids e Hierárquico Aglomerativo, onde as melhores combinações mostraram ser o K-Means com a distância Euclidiana e o K-Medoids com a distância DTW, com uma restrição Sakoe-Chiba. Esta análise comparativa abordou outros tópicos, incluindo a normalização dos dados e os métodos para determinar o número ótimo de clusters. Duas abordagens analíticas foram desenvolvidas: uma com séries temporais diárias e outra com cinco variáveis, contendo as médias de quatro períodos específicos e o seu desvio padrão. A comparação entre estas abordagens revelou que a segunda abordagem, que empregando a sua combinação ótima, K-Means com distância Euclidiana, sobressai pela consistência e eficiência, sendo ideal para aplicações práticas em larga escala, mantendo a essência das informações necessárias e demonstrando ser a mais adequada para contextos de grande volume de dados. Por fim foram analisados os padrões detetados para as várias agregações temporais tendo sido obtidos resultados promissores que apontam para a possibilidade de desenvolver estratégias mais eficientes e adaptativas na gestão de recursos hídricos. Este entendimento aprofundado do consumo de água pode orientar decisões cruciais em sistemas de distribuição de água, contribuindo significativamente para a sustentabilidade e eficácia na utilização deste recurso essencial.

The management of water resources is increasingly at the forefront of global concerns, driven by a growing awareness of water scarcity and the urgent need for sustainable solutions, leading those responsible for urban water distribution systems to seek new strategies for monitoring and managing them. Detecting consumption patterns plays an essential role in this by making it possible to understand trends, habits and variations in water consumption. This dissertation, carried out in partnership with Águas do Norte S.A., a water supply system management entity, focuses on machine learning techniques and the use of time series to help detect and characterise water consumption patterns with greater precision and efficiency. The study begins with meticulous pre-processing of data obtained from smart meters, including the treat ment of anomalies. Different temporal aggregations were also created to detect patterns on a variety of scales, such as daily, weekly, monthly, seasonal and annual. A comprehensive analysis explored Euclidean distances, DTW (with and without constraints), and soft DTW, as well as the K-Means, K-Medoids and Hierarchical Agglomerative algorithms, where the best combinations proved to be K-Means with Euclidean distance and K-Medoids with DTW distance, with a Sakoe-Chiba constraint. This comparative analysis covered other topics, including data normalisation and methods for determining the optimal number of clusters. Two analytical approaches were developed: one with daily time series and the other with five variables, con taining the averages of four specific periods and their standard deviation. The comparison between these approaches revealed that the second approach, using its optimal combination, K-Means with Euclidean distance, stands out for its consistency and efficiency, being ideal for large-scale practical applications, maintaining the essence of the information required and proving to be the most suitable for contexts with large volumes of data. Finally, the patterns detected for the various temporal aggregations were analysed, yielding promising re sults that point to the possibility of developing more efficient and adaptive strategies for managing water resources. This in-depth understanding of water consumption can guide crucial decisions in water distri bution systems, making a significant contribution to sustainability and efficiency in the use of this essential resource.