Framework para análise de comportamentos de objetos interativos em vídeo jogos

Abstract

Com um crescimento exponencial tanto na área da Inteligência Artificial como dos vídeo jogos, a criação de plataformas que auxiliam os jogadores passou a ser fundamental. A criação de uma ferramenta analítica que estude detalhadamente o comportamento humano, abre portas a jogos mais dinâmicos, competitivos e justos. A análise do ecrã de um jogador permite identificar, detetar e rastrear movimentos de determinados objetos, em tempo real, podendo ter o intuito de o ajudar ou de o vigiar. Seja qual for o caso, é necessário, primeiro, identificar e detetar os objetos visualizados, através de algoritmos de Object Detection. Depois, já identificado o objeto, é possível prever a sua próxima localização, bem como rastrear o seu movimento, utilizando algoritmos de Object Tracking. Intercalando o rastreamento com a deteção de objetos, quer quando este desaparece de vista, quer para obter confirmação que se está a seguir o objeto correto, é possível assim analisar o ecrã do jogador para o poder ajudar. Esta dissertação tem como objetivo desenvolver um modelo capaz de identificar o movimento de um determinado objeto, em tempo real, no ambiente de um jogo, utilizando para isso técnicas de Machine Learning e Computer Vision, mais especificamente métodos de Object Detection e Object Tracking. O ambiente prático foi desenvolvido utilizando a biblioteca OpenCV para Python, que tem ao dispor um diverso leque de algoritmos de Computer Vision e ainda permite a utilização paralela de CPU e GPU para a otimização destes mesmos algoritmos.

With exponential growth both in the area of Artificial Intelligence and videogames, the creation of platforms that help players has become fundamental. The creation of an analytical tool that analyzes human behavior, opens the door to more dynamic, competitive and fair games. The analysis of a player’s screen allows identifying, detecting and tracking movements of certain objects, in real time, and can help or monitor them. Whatever the case, it is first necessary to identify and detect the objects visualized, through Object Detection algorithms. Then, once the object has been identified, it is possible to predict its next location, as well as track its movement, using Object Tracking algorithms. It is possible to analyze the player’s screen by interleaving object tracking with object detection, either when it disappears from view, or to obtain confirmation that the correct object is being followed, thus helping the player. This dissertation aims to develop a model capable of identifying the movement of a given object, in real time, in a game environment, using Machine Learning and Computer Vision techniques, more specifically methods of Object Detection and Object Tracking. The practical environment was developed using the OpenCV python library, which has a diverse range of computer vision algorithms available and also allows the parallel use of CPU and GPU for the optimization of these same algorithms.