Sistema de visão para a interação e colaboração humano-robô: reconhecimento de objetos, gestos e expressões faciais

Abstract

O objetivo deste projeto de dissertação consistiu no design, implementação e validação de um sistema de visão para aplicação no robô antropomórfico ARoS (Anthropomorphic Robotic System) no contexto da execução autónoma de tarefas de interação e colaboração com humanos. Foram exploradas três vertentes essenciais numa perspetiva de interação natural e eficiente entre robô e humano: o reconhecimento de objetos, gestos e expressões faciais. O reconhecimento de objetos, pois o robô deve estar a par do ambiente que o rodeia de modo a poder interagir com o parceiro humano. Foi implementado um sistema de reconhecimento híbrido assente em duas abordagens distintas: caraterísticas globais e caraterísticas locais. Para a abordagem baseada em caraterísticas globais usaram-se os momentos invariantes de Hu. Para a abordagem baseada em caraterísticas locais exploraram-se vários métodos de deteção e descrição de caraterísticas locais, selecionando-se o SURF (Speeded Up Robust Features) para uma implementação final. O sistema devolve, também, a localização espacial dos objetos, recorrendo a um sistema de visão estereoscópico. O reconhecimento de gestos, na medida em que estes podem fornecer informação acerca das intenções do humano, podendo o robô agir em concordância após a interpretação dos mesmos. Para a deteção da mão recorreu-se à deteção por cor e para a extração de caraterísticas da mesma recorreu-se aos momentos invariantes de Hu. A classificação dos gestos é feita através da verificação dos momentos invariantes de Hu complementada por uma análise da segmentação resultante da Convex Hull. Por último, o reconhecimento de expressões faciais, visto que estas podem indicar o estado emocional do humano. Tal como em relação aos gestos, o reconhecimento de expressões faciais e consequente aferição do estado emocional permite ao robô agir em concordância, podendo mesmo alterar o rumo da ação que vinha a efetuar. Foi desenvolvido um software de análise de robustez para avaliar o sistema previamente criado (FaceCoder) e, com base nesses resultados, foram introduzidas algumas alterações relevantes no sistema FaceCoder.

The objective of this dissertation consisted on the design, implementation and validation of a vision system to be applied on the anthropomorphic robot ARoS (Anthropomorphic Robotic System) in order to allow the autonomous execution of interaction and cooperation tasks with human partners. Three essential aspects for the efficient and natural interaction between robot and human were explored: object, gesture and facial expression recognition. Object recognition, because the robot should be aware of the environment surrounding it so it can interact with the objects in the scene and with the human partner. An hybrid recognition system was constructed based on two different approaches: global features and local features. For the approach based on global features, Hu’s moment invariants were used to classify the object. For the approach based on local features, several methods of local features detection and description were explored and for the final implementation, SURF (Speeded Up Robust Features) was the selected one. The system also returns the object’s spatial location through a stereo vision system. Gesture recognition, because gestures can provide information about the human’s intentions, so that the robot can act according to them. For hand’s detection, color detection was used, and for feature extraction, Hu’s moment invariants were used. Classification is performed through Hu’s moment invariants verification alongside with the analysis of the Convex Hull segmentation’s result. Last, facial expression recognition because it can indicate the human’s emotional state. Like for the gestures, facial expression recognition and consequent emotional state classification allows the robot to act accordingly, so it may even change the course of the task it was taking on. It was developed a robustness analysis software to evaluate the previously created system (FaceCoder) and, based on the results of the analysis, some relevant changes were added to FaceCoder.