Autoencoders lineares e autoencoders não lineares (ReLU)

Abstract

Este trabalho é dedicado ao estudo de autoencoders lineares, onde se destacam as suas ligações com a técnica PCA e com autoencoders não lineares, nomeadamente, usando a função de ativação ReLU. Ao longo desta dissertação, são demonstrados diversos resultados sobre esta temática, através de diversas simplificações e hipóteses adicionais. É ainda elaborada uma análise numérica que visa corroborar os resultados abordados ao longo do documento. Como principais destaques deste trabalho, pode-se enunciar o facto de que, para diversas bases de dados, é possível calcular uma solução ótima, ou seja, uma solução que atinge o valor mínimo que a loss function associada ao autoencoder consegue apresentar. Em particular, consideramos cenários com bases de dados de atributos não negativos, bem como a situação em que se assume que a base de dados é regular. E ainda de salientar a criação de novas propostas de algoritmos, em particular no contexto de autoencoders ReLU, que proporcionam muito boas aproximações das soluções ótimas com um baixo custo computacional em comparação aos tradicionais métodos de treino dos autoencoders com recurso as principais bibliotecas de Python.

This work is dedicated to the study of linear autoencoders, standing out its connections both with the PCA technique and the nonlinear autoenconders, namely, using the ReLU function. Throughout this dissertation, various results on this topic are demonstrated through various simpli cations and additional hypotheses. A numerical analysis is also elaborated to support the results stated throughout the document. As main highlights of this work, it can be stated that, for several databases, we manage to calculate an optimal solution that reaches the minimum value which can be presented by the loss function associated with the autoenconder. In particular, we considered scenarios based on nonnegative data, or situations in which it is assumed that the database is regular. We also stress that the study proposes new algorithms, in particular in the context of autoencoders ReLU, that provide very good approximations of the optimal solution with a low computational cost regarded to the traditional autoencoder training method proposed in the standard Python libraries.