Computer vision component to environment scanning

Abstract

Computer vision is usually used as the perception channel of robotic platforms. These platforms must be able of visually scanning the environment to detect specific targets and obstacles. Part of detecting obstacles is knowing their relative distance to robot. In this work different ways of detecting the distance of an object are analyzed and implemented. Extracting this depth perception from a scene involves three different steps: finding features in an image, finding those same features in another image and calculate the features’ distance. For capturing the images two approaches were considered: single cameras, where we capture an image, move the camera and capture another, or stereo cameras, where images are taken from both cameras at the same time. Starting by SUSAN, then SIFT and SURF, these three feature extraction algorithms will be presented as well as their matching procedure. An important part of computer vision systems is the camera. For that reason, the procedure of calibrating a camera will be explained. Epipolar geometry and the fundamental matrix are two important concepts regarding 3D reconstruction which will also be analyzed and explained. In the final part of the work all concepts and ideas were implemented and, for each approach, tests were made and results analyzed. For controlled environments the relative distance of the objects is correctly extracted but with more complex environment such results are harder to obtain.

A visão por computador é, normalmente, usada como o canal de percepção do mundo em plataformas robóticas. Estas plataformas têm de ser capazes de rastrear, visualmente, o ambiente para detectar objectivos e obstáculos específicos. Parte da detecção de obstáculos envolve saber da sua distância relativa ao robot. Neste trabalho, são analisadas e implementadas diferentes formas de extrair a distância de um objecto. A extracção desta noção de profundidade de uma cena envolve três passos diferentes: encontrar características numa imagem, encontrar estas mesmas características numa imagem diferente e calcular as suas distâncias. Para a captura de imagens foram considerados dois métodos: uma única câmara, onde é tirada uma imagem, a câmara é movida e é tirada a segunda imagem; e câmaras estéreo onde as imagens são tiradas de ambas as câmaras ao mesmo tempo. Começando pelo SUSAN, depois o SIFT e SURF, estes três algoritmos de extracção de características são apresentados, assim como os seus métodos de emparelhamento de características. Uma parte importante dos sistemas de visão por computador é a câmara, por este motivo, o procedimento de calibrar uma câmara é explicado. Geometria Epipolar e matriz fundamental são dois conceitos importantes no que refere a reconstrução 3D que também serão analisados e explicados. Na parte final do trabalho, todos os conceitos e ideias são implementados e, para cada método, são realizados testes e os seus resultados são analisados. Para ambientes controlados, a distância relativa é correctamente extraída mas, para ambientes mais complexos, os mesmos resultados são obtidos com mais dificuldade.