Service robot remote control system (VR Headset + Pose Estimation)

Abstract

Teleoperation of service robots has been a highly sought-after area of research in recent years. The ability to remotely operate a robot offers numerous benefits in terms of human safety, enabling the execution of dangerous tasks without the risk of significant harm. This dissertation presents a comprehensive examination of the theoretical foundations of pose estimation algorithms. The Mediapipe framework was employed for human pose detection, in combination with an RGB-D camera for three-dimensional pose mapping. A virtual reality interface was developed to provide access to the robot’s vision, allowing for an immersive experience for the operator. In the first phase of experimentation, tests were conducted in a simulated environment using CoppeliaSim and the humanoid robot NAO to simulate the service robot. Communication between the control script and the simulator was established using the Robot Operating System (ROS) framework and a control node in Python. The goal of these tests was to evaluate the performance of the developed algorithm through tasks such as object handling. Finally, the algorithm was evaluated in a real-world environment using the CHARMIE robot, with a focus on the manipulation of an object through the virtual reality interface.

Teleoperação de robôs de serviços tem sido uma área muito procurada nos últimos anos. A capacidade de operar um robô remotamente traz muitas vantagens quando se trata da segurança dos seres humanos, permitindo que tarefas perigosas sejam realizadas sem o risco de perdas cruciais. Esta dissertação apresenta as bases teóricas dos algoritmos de estimação de pose. A framework Medi apipe foi utilizada para deteção da pose humana, em conjunto com uma câmera RGB-D para mapeamento tridimensional da pose. Uma interface de realidade virtual foi desenvolvida para aceder à visão do robô, permitindo uma experiência imersiva por parte do operador. Numa primeira fase, os testes foram realizados num ambiente de simulação, usando o CoppeliaSim e o robô humanóide NAO para simular o robô de serviço. A comunicação entre o script de controlo e o simulador foi configurada usando a framework ROS e um nó de controlo em Python. O objetivo dos testes é avaliar o desempenho do algoritmo desenvolvido, através de testes como a manipulação de objetos. Finalmente, o algoritmo foi testado em ambiente real no robô CHARMIE, onde o objetivo é a manipulação de um objeto usando a interface de realidade virtual.