Deteção de anomalias em séries temporais de fluxo de água usando métodos de machine learning

Abstract

A deteção de anomalias é uma tarefa importante para as empresas de distribuição de água, uma vez que os vazamentos nos sistemas de distribuição de água aumentam significativamente os custos económicos e criam escassez de recursos hídricos. A empresa portuguesa Águas do Norte S.A. com o objetivo de melhorar o processo de monitorização e controlo de perdas na rede de distribuição em 2020 começaram a instalar contadores de água inteligentes nos pontos de consumo. O principal objetivo desta dissertação é a identificação de anomalias (ocorrências que se desviam do padrão considerado normal) presentes no primeiro conjunto de dados fornecido por estes contadores inteligentes, com recurso a téc nicas de estatísticas e machine learning. Numa primeira fase, procedeu-se ao pré-processamento dos dados onde foram identificadas anomalias ou discrepâncias (valores negativos, muito elevados, duplica dos, etc.). De seguida, com o objetivo de identificar os diferentes perfis de consumo dos clientes (483 clientes domésticos e 53 não domésticos), realizou-se uma análise de clusters (com base no algoritmo de K-Means) separadamente para cada escala temporal: consumo por hora, por dia, e mês. A análise de componentes principais (PCA) foi aplicada para reduzir a dimensão dos dados antes de aplicar o algoritmo de K-Means. Os clientes com comportamentos de consumo semelhante nas três escalas temporais foram agrupados e as curvas de consumo de água foram calculadas para cada grupo. Os resultados obtidos da análise de clusters fornecem para a empresa uma visão resumida do consumo temporal de água dos seus clientes, que podem ser usados para obter estimativas do consumo de água, bem como para detetar consumos fora do padrão normal (que podem ser possíveis anomalias). Tendo em mente a identificação de consumos fora do padrão normal determinou-se os intervalos de consumos habituais, para cada hora de cada perfil de consumo. Os intervalos de consumos foram calculados com base na distribuição de probabilidades que melhor descreve o consumo médio de cada hora em cada perfil. Para cada caso, di ferentes funções de distribuição de probabilidades (incluindo Weibull, Gamma, Log-normal e Exponencial) foram investigadas na seleção da que melhor se ajusta aos dados. Por fim, é descrito e exemplificado como estes intervalos de consumos poderão ser usados na deteção de registos de consumos diferentes do esperado.

Detecting anomalies is an important task for water distribution companies since leaks in water distribution systems significantly increase economic costs and create scarcity of water resources. The Portuguese company Águas do Norte S.A., with the objective of improving the process of monitoring and controlling losses in the distribution network, in 2020 began installing smart water meters at consumption points. The main objective of this dissertation is to identify anomalies (occurrences that deviate from the normal pattern) present in the first dataset provided by these smart water meters, using statistical and machine learning techniques. In the first phase, data was pre-processed, where anomalies or discrepancies were identified (negative values, very high, duplicates, etc.). Then, in order to identify the different consumption profiles of the customers (483 domestic and 53 non-domestic), a cluster analysis was performed (based on the K-Means algorithm) separately for each scale temporal: hourly, monthly, and monthly consumption. Principal component analysis (PCA) was applied to reduce the data dimension before applying K-means clustering. Customers with similar consumption behaviors across the three temporal scales were grouped and water consumption curves were calculated for each cluster. The results obtained from the cluster analysis provide to the company a summarized view of the temporal water consumption of their customers, which can be used to obtain estimates of water consumption, as well as to detect out of normal consumptions (which may be possible anomalies). Keeping in mind the identification of out-of normal pattern behavior of customers’ water consumption, usual consumption intervals were determined for each hour of each consumption profile. Consumption intervals were calculated based on the probability distribution that best describes the average consumption of each hour in each profile. For each case, different probability distribution functions (including Weibull, Gamma, Log-normal, and Exponential) were investigated in selecting the one that best fits the data. Finally, it is described and exemplified how these consumption intervals can be used to detect consumption records that are different from what was expected.