Aplicação web para aprendizagem de emoções

Abstract

No dia a dia, a forma como o ser humano comunica é cada vez mais importante, e as suas expressões faciais têm um papel fulcral para indicar o interesse em determinadas conversas. Muitas vezes, só um olhar ou um franzir de sobrancelha é o suficiente para transmitir a mensagem pretendida. Contudo, nem todas as pessoas têm facilidade em comunicar através de gestos e emoções. Um caso particular são os indivíduos com Perturbação do Espetro do Autismo (PEA), que se caracterizam por alterações significativas na comunicação social e na interação social, transversais a múltiplos contextos, e por padrões restritos e repetitivos de comportamentos, interesses e atividades. A PEA é caracterizada como sendo um distúrbio neurológico associado ao comprometimento da comunicação e interação social, à comunicação verbal e não-verbal e ao comportamento restritivo e repetitivo. Este trabalho tem uma maior ênfase em crianças com PEA, que tendem a ter uma maior dificuldade em interpretar e até expressar emoções básicas como a alegria ou a tristeza. Estas dificuldades podem ser mitigadas através de ferramentas que ajudam estas crianças a compreender e a demonstrar essas emoções. O objetivo deste trabalho é promover a aprendizagem de emoções de crianças com PEA, de forma lúdica, didática e simples, mediante a utilização da aplicação web desenvolvida. Foram desenvolvidos vários jogos, com diferentes objetivos, para otimizar a aquisição destas competências. A aplicação compila estes jogos num só lugar e torna-os acessíveis a vários contextos. No primeiro jogo, a criança terá de construir uma expressão facial com a utilização de diversas partes que compõem um rosto humano (olhos, boca, sobrancelhas), de acordo com a emoção que é solicitada. No segundo jogo, o objetivo é que a criança consiga replicar a emoção solicitada. Para isso, é utilizada uma câmara para captar a cara do utilizador e, através de algoritmos de deteção de rosto e deteção de emoções, o sistema valida se a expressão que foi solicitada está correta. A criação de uma base de dados com os tempos de reação, tentativas falhadas e execução dos participantes é uma mais-valia para quem estuda os comportamentos das crianças com PEA, pois permite fazer uma análise mais completa e profunda dos resultados dessas crianças, facilitando um maior sucesso na aprendizagem.

In everyday life, the way human beings communicate is increasingly important, and their facial expressions play a leading role in indicating their interest in certain conversations. Often, just a look or a frown is enough to convey the intended message. However, not all people find it easy to communicate through gestures and emotions. A case in point are individuals with Autism Spectrum Disorder (ASD), who are characterized by significant changes in social communication and social interaction across multiple contexts, and restricted and repetitive patterns of behaviors, interests, and activities. ASD is characterized as a neurological disorder associated with impaired social communication and interaction, verbal and nonverbal communication, and restrictive and repetitive behavior. This work has a greater emphasis on children with ASD, who tend to have greater difficulty in interpreting and even expressing basic emotions such as joy or sadness. These difficulties can be mitigated with the support of tools that help these children understand and demonstrate these emotions. The objective of this work is to promote the learning of emotions in children with ASD, in a playful, didactic and simple way, through the use of the web application developed. Several games were developed, with different objectives, to optimize the acquisition of these skills. The application compiles these games in one place and makes them accessible in different contexts. In the first game, the child will have to build a facial expression with the use of several parts that make up a human face (eyes, mouth, eyebrows), according to the emotion that is requested. In the second game, the objective is for the child to be able to replicate the requested emotion. To this end, a camera is used to capture the user's face, and, through face detection and emotion detection algorithms, the system validates if the requested expression is correct. The creation of a database with reaction times, failed attempts, and execution of the participants, is an asset for those who study the behavior of children with ASD, because it allows a more complete and in-depth analysis of the results of these children, helping them to be more successful in learning.