Aplicação de Língua Gestual Portuguesa num robô virtual com suporte em ROS

Abstract

No mundo atual, verifica-se cada vez mais, o uso de novas tecnologias para tarefas do dia-a-dia ou então para resolução de problemas. Na última década tem-se verificado uma exploração exponencial em diversas áreas, incluindo robótica, que tem como um dos seus focos evoluir e dinamizar a interação entre o Homem e a Máquina, através da reprodução de sons para assim comunicar por uma Língua. Os indivíduos surdos e/ou mudos possuem deficiência na audição e/ou fala, tendo as- sim uma desvantagem no mundo social já que a comunicação por voz é predominante no quotidiano, havendo poucos que conseguem entendê-los. Dado isso, o objetivo do projeto é apoiar essas pessoas desenvolvendo uma plataforma robótica capaz de habilitar os robôs a conversar em Língua Gestual. O objetivo é criar uma infraestrutura capaz de traduzir Língua Portuguesa para Língua Gestual Portuguesa, desenvolvendo um robô virtual. No projeto usou-se um midleware open-source que é focado no desenvolvimento de robôs, designado em português, de sistema operativo de robôs. Este tem vindo a ser cada vez mais habitual entre quem desenvolve robôs, por fornecer bibliotecas e ferramentas prontas a serem usadas. Com este middleware consegue-se integrar bem com vários simu- ladores, facilitando a criação de um robô humanoide virtual. Neste projeto desenvolveu-se uma prova de conceito, mas, pensando na escalabilidade do sistema, foi desenvolvida uma base de dados com MongoDB, para o sistema guardar as propriedades de cada gesto e uma interface gráfica para ser mais fácil de usar e visualizar o robô a traduzir. Finalmente, o sistema proposto foi avaliado por um grupo de pessoas bilingues, que permitiu detetar algumas limitações do sistema e validar a aplicabilidade deste em edifícios públicos. Face aos testes, este projeto provou obter grande sucesso nos objetivos propostos.

Our world is increasingly using new technologies for day-to-day tasks or for problem solving. In the last decade there has been an exponential exploration in several areas, including robotics, which has as one of its focuses evolve and dynamize the interaction between Man and Machine, through the reproduction of sounds to communicate in a language. Deaf and/or mute individuals are deficient in hearing and/or speech, thus having a disadvantage in the social world since voice communication is predominant in everyday life, with few who can understand them. Given that, the goal of the project is to support these people by developing a robotic platform capable of enabling robots to talk in Sign Language. The goal is to create an infrastructure capable of translating Portuguese to Portuguese Sign Language, developing a virtual robot. An open-source middleware was used for the project, which focuses mainly on robot development, robotic operating system, that has become common among those who develop robots, by providing libraries and tools ready to be used. This middleware can integrate well with several simulators, facilitating the creation of a virtual humanoid robot. In this project was developed a proof of concept but, thinking about the scalability of the system, a database was developed with MongoDB, for the system to save the properties of each gesture and a graphical interface to be easier to use and to visualize the robot translating. Finally, the proposed system was evaluated by a group of bilingual people, which al- lowed to detect some limitations of the system and to validate its applicability in public buildings. In the face of the tests, this project proved to achieve great success in the proposed objectives.