Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/91423
Título: | Service robot remote control system (VR Headset + Pose Estimation) |
Autor(es): | Fernandes, Eduardo Alexandre Carvalho |
Orientador(es): | Ribeiro, A. Fernando |
Palavras-chave: | Teleoperation Service robot Virtual reality Pose estimation Teleoperação Robô de serviços Realidade virtual Estimação de pose |
Data: | 24-Mar-2023 |
Resumo(s): | Teleoperation of service robots has been a highly sought-after area of research in recent years. The ability
to remotely operate a robot offers numerous benefits in terms of human safety, enabling the execution of
dangerous tasks without the risk of significant harm.
This dissertation presents a comprehensive examination of the theoretical foundations of pose estimation
algorithms. The Mediapipe framework was employed for human pose detection, in combination with an
RGB-D camera for three-dimensional pose mapping. A virtual reality interface was developed to provide
access to the robot’s vision, allowing for an immersive experience for the operator.
In the first phase of experimentation, tests were conducted in a simulated environment using CoppeliaSim
and the humanoid robot NAO to simulate the service robot. Communication between the control script
and the simulator was established using the Robot Operating System (ROS) framework and a control node
in Python. The goal of these tests was to evaluate the performance of the developed algorithm through
tasks such as object handling.
Finally, the algorithm was evaluated in a real-world environment using the CHARMIE robot, with a focus
on the manipulation of an object through the virtual reality interface. Teleoperação de robôs de serviços tem sido uma área muito procurada nos últimos anos. A capacidade de operar um robô remotamente traz muitas vantagens quando se trata da segurança dos seres humanos, permitindo que tarefas perigosas sejam realizadas sem o risco de perdas cruciais. Esta dissertação apresenta as bases teóricas dos algoritmos de estimação de pose. A framework Medi apipe foi utilizada para deteção da pose humana, em conjunto com uma câmera RGB-D para mapeamento tridimensional da pose. Uma interface de realidade virtual foi desenvolvida para aceder à visão do robô, permitindo uma experiência imersiva por parte do operador. Numa primeira fase, os testes foram realizados num ambiente de simulação, usando o CoppeliaSim e o robô humanóide NAO para simular o robô de serviço. A comunicação entre o script de controlo e o simulador foi configurada usando a framework ROS e um nó de controlo em Python. O objetivo dos testes é avaliar o desempenho do algoritmo desenvolvido, através de testes como a manipulação de objetos. Finalmente, o algoritmo foi testado em ambiente real no robô CHARMIE, onde o objetivo é a manipulação de um objeto usando a interface de realidade virtual. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado integrado em Engenharia Eletrónica, Industrial e Computadores |
URI: | https://hdl.handle.net/1822/91423 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DEI - Dissertações de mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Eduardo Alexandre Carvalho Fernandes.pdf | Dissertação de mestrado | 29,12 MB | Adobe PDF | Ver/Abrir |
Este trabalho está licenciado sob uma Licença Creative Commons