Modern optimization of predictive models: An application to mobile performance marketing

Abstract

The increase of mobile devices usage has leveraged digital business opportunities, particularly in the advertising sector. In particular, the Mobile Performance Marketing (MPM) industry has been a target of vast investments in the last years. This industry deals with advertising campaigns (owned by advertisers) presented on digital spaces (owned by publishers), such as mobile applications. In short, users are redirected to campaign pages in order to access publishers content. Between advertisers and publishers, intermediary companies perform matching between users and campaigns, by means of a Demand-Side Platform (DSP), aiming to lead the users to a purchase. However, the currently used mechanisms to perform this matching are rather rigid, using eventual profit or simple statistical rules to select the campaign to be displayed, instead of using other data attribute relationships. Overall, this DSP assignment method tends to produce a tiny conversion rate (e.g., 1%) between user redirects and purchases. Thus, improving the DSP performance with the application of a Machine Learning (ML) approach could potentially improve this business. ML has proved to be extremely important in several domains, by being able to extract complex patterns from data and providing useful insights to decision makers. During this PhD, we particularly address the multi-objective Modern Optimization of predictive models, a much less researched topic when compared with traditional ML approaches. In particular, we use Evolutionary Algorithms (EAs) to design and evolve ML models, using MPM as the final (and target) use case. At an initial stage of this PhD thesis, when we did not had access to MPM data, we addressed a distinct ML use case. In effect, we proposed several neuroevolution models for multi-step ahead time series Prediction Intervals (PIs), based on a Pareto-based multi-objective EA that simultaneously considered PI coverage and width. This research included the proposal of a novel and robust evaluation method for multi-objective ML models, which vertically aggregates similar solutions using the Wilcoxon median and 95% confidence intervals. At a later stage, when MPM data was available, we developed two innovative approaches for the design and creation of Evolutionary Decision Trees (EDTs), using a multi-objective implementation of Grammatical Evolution (GE) that simultaneously considered EDTs predictive performance and complexity. Using a realistic and robust experimentation, with real-world data from the OLAmobile company, we have shown that the proposed GE is capable of evolving valuable prediction models for the MPM domain.

O aumento na utilização de dispositivos móveis alavancou oportunidades de negócios digitais, particularmente no setor da publicidade. Em particular, a indústria de Mobile Performance Marketing (MPM) tem sido alvo de grandes investimentos nos últimos anos. Esta indústria lida com campanhas publicitárias de advertisers, apresentadas em espaços digitais de publishers, como aplicações móveis. Em suma, os utilizadores são redirecionados para páginas de campanhas de modo a poderem aceder ao conteúdo dos publishers. Entre advertisers e publishers, empresas intermediárias direcionam utilizadores para campanhas, utilizando Demand-Side Platforms (DSPs), com o intuito de os levar a realizar uma compra. Contudo, os mecanismos utilizados atualmente para realizar este direcionamento são bastante rígidos, utilizando o eventual lucro ou regras de estatística simples para selecionar a campanha a apresentar, ao invés de utilizarem outras relações entre os atributos de dados. No geral, o método atualmente utilizado pelo DSP tende a produzir uma reduzida taxa de conversão entre utilizadores redirecionados e compras efetuadas (e.g., 1%), que poderia ser melhorada com a aplicação de uma abordagem de Machine Learning (ML). O ML já provou ser extremamente importante em diversos domínios, sendo capaz de extrair padrões complexos dos dados e fornecer informação útil para a tomada de decisão. Durante este doutoramento, abordamos a Otimização Moderna e multiobjetivo de modelos preditivos, um tópico ainda pouco investigado. Em particular, utilizamos Algoritmos Evolucionários (AEs) para criar modelos de ML, utilizando o MPM como principal caso de estudo. Inicialmente, quando ainda não tínhamos acesso a dados de MPM, abordamos um caso de estudo de ML distinto. Na realidade, propusemos diferentes modelos Neuroevolucionários para previsão de intervalos (PIs) em séries temporais, recorrendo a um AE multiobjetivo que simultaneamente considerava o erro e a largura dos mesmos. Esta investigação incluiu a proposta de um método robusto para a avaliação de modelos multiobjetivo de ML, que agrega soluções usando a mediana de Wilcoxon e intervalos de 95% de confiança. Posteriormente, quando os dados de MPM estavam disponíveis, desenvolvemos duas abordagens inovadoras para a criação de Árvores de Decisão, utilizando um AE multiobjetivo que considerava simultaneamente o desempenho preditivo e a complexidade destas. Com uma experimentação robusta e realista, mostramos que as abordagens propostas são capazes de evoluir modelos preditivos valiosos para este domínio.