Time series forecasting with machine learning models informed by domain knowledge

Abstract

A previsão de séries temporais é uma tarefa crítica em muitos setores, particularmente no setor financeiro. Neste setor a previsão de cashflow é indispensável, uma vez que permite a uma empresa planear e gerir as entradas e saídas de dinheiro de uma forma eficaz. No entanto, esta tarefa pode ser desafiante quando os dados são limitados e/ou de pouca qualidade. Desta forma, esta dissertação tem como objetivo melhorar a previsão de séries temporais, particularmente o cashflow, através da integração do conhecimento de domínio em modelos de machine learning. Inicialmente, foram exploradas várias abordagens para integrar o conhecimento de domínio nos modelos de previsão. Estas técnicas incluíam a integração de conhecimento, ou alterar a função de perda, ou treinar um modelo para aprender as relações hierárquicas entre variáveis, ou utilizar propriedades adicionais acerca das variáveis, denominadas por meta-features. No entanto, devido à complexidade e incerteza envolvidas na tradução desse conhecimento para uma forma que o modelo pudesse aprender, foi adotada uma abordagem mais prática. Foi utilizada uma arquitetura de Neural ODE (Ordinary Differential Equation) na tentativa de aprender as dinâmicas temporais dos dados; no entanto, mostrou-se insuficiente por si só ao aprender dinâmicas mais complexas. Face a estes resultados, foi necessária uma arquitetura mais complexa. A arquitetura ODE-GRU, que combina a Neural ODE com a estrutura recorrente da GRU (Gated Recurrent Unit). Esta arquitetura foi capaz de aprender dinâmicas mais complexas, capturando também dependências a longo prazo nos dados. O objetivo final foi comparar os modelos com e sem conhecimento de domínio, de forma a avaliar a eficácia da incorporação do conhecimento de domínio na melhoria do desempenho dos modelos. Os resultados indicaram que, no contexto do conjunto de dados utilizado, a integração do conhecimento do domínio não conduziu a melhorias significativas no desempenho do modelo. Este resultado pode dever-se ao facto de o histórico de dados disponíveis ser limitado, salientando a importância de um conjunto de dados com um registo histórico mais longo para se obter melhores resultados em estudos futuros.

Time series forecasting is a critical task in many fields, particularly finance. In this sector, cashflow forecasting is indispensable, as it allows a company to plan and manage cash inflows and outflows effectively. However, this task can be challenging when data is limited and/or of poor quality. This dissertation therefore aims to improve the forecasting of time series, particularly cashflow, by integrating domain knowledge into machine learning models. Initially, various approaches were explored to integrate domain knowledge into the forecasting models. These techniques included integrating knowledge either by changing the loss function, training a model to learn the hierarchical relationships between variables, or by using additional properties about the variables, referred to as meta-features. However, due to the complexity and uncertainty involved in translating this knowledge into a form the model could learn from, a more hands-on approach was taken. A Neural ODE (Ordinary Differential Equation) architecture was employed as an attempt to capture the temporal dynamics of the data, however it proved to be insufficient by itself when trying to capture more complex dynamics. Given these results, a more complex architecture was required. The ODE-GRU architecture, which combines the strengths of the Neural ODE with the recurrent structure of the GRU (Gated Recurrent Unit). This architecture was capable of learning more complex dynamics while also capturing long-term dependencies in the data. The ultimate goal was to compare the models with and without domain knowledge, in order to evaluate the effectiveness of incorporating domain knowledge in enhancing predictive performance. The results indicated that, in the context of the dataset used, the integration of domain knowledge did not lead to significant improvements in model performance. This outcome may be influenced by the limited historical data available, highlighting the importance of a dataset with a longer historical record for achieving better results in future studies.