An automated and efficient Machine Learning framework for One-Class Classification tasks

Abstract

The present era of Machine Learning (ML) is defined by the availability of copious amounts of data, powerful algorithms, and high-speed processing machines that enable accurate predictions. Two crucial features of modern ML applications are automation and efficiency. Automation is essential for streamlining the ML workflow, particularly for non-specialists. Because of this, the emergence of Automated Machine Learning (AutoML), which automates various components of the workflow, has gained significant attention in recent years. Efficiency plays a vital role in dealing with Big Data or hardware constraints and it is often achieved through distributed or parallel learning across multiple machines or processors. This thesis aims to contribute to the field of ML by designing and implementing an automated and efficient ML framework for One-Class Classification (OCC) tasks. A first set of initial experiments was performed to gain insights into the application of AutoML for supervised learning tasks, as well as to identify a robust and reliable evaluation method for the proposed AutoML framework. In these experiments, we defined an architecture to deal with the typical steps of the ML workflow and we performed a robust benchmark of existing AutoML frameworks. Afterwards, in a second set of experiments, we propose a novel AutoML framework (AutoOneClass) that applies a Grammatical Evolution (GE) to design and evolve different OCC ML algorithms by using both single and multi-objective optimization applied to a real-world Predictive Maintenance (PdM) dataset. Then, we proposed an improved version of the framework (AutoOC), that is exclusively focused on a multiobjective optimization. Several computational experiments were held to evaluate the effectiveness of the AutoOC framework, using eight public datasets from several domains and two distinct validation modes (unsupervised and supervised).

A era atual da área de Machine Learning (ML) é definida pela disponibilidade de uma vasta quantidade de dados, algoritmos poderosos, e máquinas com processamento de alta velocidade que permitem previsões precisas. Duas características cruciais nas aplicações de ML modernas são a automatização e a eficiência. A automatização é essencial para a simplificação do fluxo de trabalho de ML, particularmente para os não-especialistas. Devido a isto, o surgimento da área de Automated Machine Learning (AutoML), que automatiza vários componentes do fluxo de trabalho, tem ganho uma atenção significativa nos últimos anos. A eficiência desempenha um papel vital para lidar com Big Data ou restrições de hardware e é frequentemente alcançada através de aprendizagem distribuída ou em paralelo, usando várias máquinas ou processadores. Esta tese visa contribuir para o campo de ML através da conceção e implementação de um framework de ML automatizado e eficiente para tarefas de One-Class Classification (OCC). Um primeiro conjunto de experiências iniciais foi realizado para obter conhecimentos acerca da aplicação de AutoML para tarefas de aprendizagem supervisionada, bem como para identificar um método de avaliação robusto e fiável para o framework de AutoML a ser proposto. Nestas experiências, definiu-se uma arquitetura para lidar com as etapas tradicionais do fluxo de trabalho de ML e realizou-se um benchmark robusto de frameworks de AutoML existentes. Posteriormente, num segundo conjunto de experiências, propôs-se um novo framework de AutoML (AutoOneClass) que aplica Grammatical Evolution (GE) para criar e evoluir differentes algoritmos OCC de ML usando otimização uni e multiobjetivo aplicados a um dataset real de Manutenção Preventiva. Em seguida, propôs-se uma versão melhorada do framework (AutoOC), que se centra exclusivamente em otimização multiobjetivo. Várias experiências computacionais foram realizadas para avaliar a eficácia do framework AutoOC, usando oito datasets públicos de vários domínios de aplicação e dois modos de validação distintos (não supervisionado e supervisionado).