Rastreamento virtual da face: um sistema para espelhar emoções

Abstract

A capacidade de interação social, comunicação e reconhecimento de emoções é uma característica que permite ao ser humano a integração no meio social contribuindo para a sua autoestima e o seu bemestar. No entanto, existem pessoas com dificuldades em exprimir e interpretar estados emocionais, o que por vezes pode contribuir para uma exclusão na sociedade. Um caso particular são as crianças com Perturbações do Espectro do Autismo (PEA). Estas crianças possuem dificuldades na interação social e caracterizam-se por manifestarem padrões repetitivos e gostos muito restritos. Na literatura encontram-se vários estudos que utilizam jogos sérios e outras ferramentas para promover a interação com crianças com PEA. A utilização de robôs para este fim é também muito comum. Estas ferramentas são capazes de reconhecer emoções e promover desenvolvimentos das capacidades cognitivas destas crianças. Nesta dissertação desenvolveu-se um jogo sério em que um avatar (ZECA Avatar) é capaz de interagir com a criança, lançando-lhe desafios que poderão facilitar a imitação e o reconhecimento de emoções. Este jogo cria uma alternativa à utilização do robô na interação com crianças podendo estas ter acesso a ele em qualquer lugar, sem depender do robô. O jogo está dividido em três níveis. No primeiro nível a criança tem de executar alguns movimentos faciais que são replicados pelo avatar e validados por software. No segundo tem-se uma imitação diferida onde o avatar ensina a criança a expressar emoções através de expressões faciais. O terceiro é o modo história. Neste nível são contadas histórias e a criança tem de ser capaz de detetar qual a emoção presente em cada uma. Para o desenvolvimento gráfico do jogo foi usado o software Unity 3D e o OpenFace para a monitorização da face da criança. Por último, foram feitos testes laboratoriais e em ambiente escolar para validar os níveis criados bem como a robustez do sistema. Assim, com este jogo espera-se que as crianças com PEA desenvolvam as suas capacidades cognitivas e melhorem a sua capacidade de comunicação e interação com os pares.

The social capacity to interact, communicate, understand and express emotions is a human characteristic that allow us to live in an integrated social environment. Though, there are people with difficulties in expressing and distinguishing emotional stages which contribute for exclusion and discrimination. A particular case are children with Autism Spectrum Disorders (ASD). These children have some difficulties in social interaction. Usually they are characterized by manifesting repetitive patterns of behavior and very singular preferences. There are several studies in the literature that use games and other tools to promote the interaction with children with ASD. In our days, the use of robots for this purpose is also very common. Some of these tools can recognize emotions and improve the cognitive abilities of these children. The goal of this dissertation is to develop a digital game in which an avatar (ZECA Avatar) is able to interact with the child, throwing him/her challenges that may facilitate the imitation and recognition of emotions. This game will create a virtual alternative to the physical robot, to interact with children, being able of be accessed anywhere. The game is divided into three levels. At the first level the child must perform certain facial movements that are replicated by the avatar and validated by the software. In the second, the software has a deferred imitation where the avatar teaches the child to express emotions through facial expressions. The last level is the story mode where stories are told and the child should be able to understand which emotion is presented. Unity 3D software engine was chosen to develop the game and the OpenFace software for the monitoring and the face-tracking of the children. Finally, some tests were performed in the lab and with children in the school environment to validate all game challenges and measure the robustness of the system. Thus, with this game it is expected to help children with ASD to develop their cognitive skills and improve their ability to communicate and interact with peers/world.