Multi-people tracking using a distributed camera network: application to a university campus

Abstract

Nesta dissertação é explorado o tema da monitorização de múltiplos objetos no contexto de um ”smart campus”, com foco no contexto específico num campus universitário, sendo este o tema principal do projeto de investigação Lab4USpace. A monitorização de múltiplos objetos, especialmente de pessoas, é relevante para diversas aplicações, incluindo aplicações de vigilância, mobilidade e inteligência ambiental. No entanto, torna-se particularmente desafiante no contexto de espaços abertos, às quais exigem soluções com múltiplas câmaras com problemas inerentes, tais como a reidentificação. O objetivo desta dissertação é desenvolver um framework capaz de fornecer informações sobre o percurso de várias pessoas ao longo do campus universitário usando um cenário com múltiplas câmaras. A solução visa não só a monitorização de uma pessoa num único cenário, mas também em todo o campus, coberto por diversas câmaras com ou sem sobreposição. Esta dissertação discute os diversos desafios enfrentados durante o desenvolvimento deste projeto, incluindo preocupações com a privacidade e segurança dos utilizadores do campus. Com isso, optou-se por não enviar imagens para nenhuma aplicação, tratando apenas das informações estritamente retiradas da monitorização das pessoas. Um dos principais desafios foi desenvolver um framework que rastreie vários objetos num ambiente de um ”smart campus”, abordando desafios de espaços abertos e problemas de reidentificação. Além disso, devido aos recursos computacionais limitados, foi usado um computador de bordo para lidar com processamento de imagens e operações relacionadas às técnicas de visão computacional de maneira mais eficaz. O framework proposto utiliza modelos de deteção de objetos e algoritmos de monitorização em tempo real que foram comparados neste contexto específico. Depois de pesquisar outras alternativas, a estrutura usa o modelo YOLOv7-tiny para deteção de objetos, BoT-Sort para a monitorização dos vários objetos e Deep Person Reid para a reidentificação. O programa foi desenvolvido em Python e juntamente a ele foi também criado um website para alterar as configurações do sistema de monitorização utilizando o framework Flask. Um message broker também foi utilizado para a comunicação entre os diversos componentes do sistema. Os testes de validação demonstram a eficácia da framework proposta na monitorização das várias pessoas em todo o campus. O sistema proposto contribui significativamente para o desenvolvimento de soluções de múltiplas câmaras mais eficientes e eficazes para aplicações de ”smart campus”, com benefícios potenciais para a segurança, proteção e gestão do campus. No geral, esta dissertação apresenta uma estrutura que rastreia de maneira eficaz várias pessoas num ambiente de ”smart campus”. A framework é uma contribuição importante para o desenvolvimento na área do ”smart campus” e tem potencial para desenvolvimento futuro e aplicações para além do campus universitário.

This dissertation explores the topic of object multi-tracking in the context of a smart campus, focusing on the specific context of a university campus, being the main topic of the Lab4USpace research project. Multi-tracking of objects, especially people, is relevant for different applications, including surveillance, mobility, and ambient intelligence. However, it becomes particularly challenging in open spaces, which require multi-camera solutions with inherent issues like re-identification. The objective of this dissertation is to develop a framework capable of providing information about the path of multiple people throughout the university campus using a multi-camera scenario. The solution aims not only to track a person in a single scenario but also over the entire campus, covered by various cameras with or without overlapping. This dissertation discusses the challenges faced during the development of this project, including concerns about the privacy and security of campus users. As a result, the decision was made not to send images for any application, dealing only with the information strictly retrieved from the tracking. One main challenge was developing a framework that tracks multiple objects in a smart campus environment, addressing the challenges of open spaces and re-identification issues. Additionally, due to limited computational resources, an edge computer was used to handle image processing and computer vision-related operations more effectively. The proposed framework uses different object detection models and real-time tracking algorithms that were compared in this specific context. After researching other alternatives, the framework uses the YOLOv7 tiny model for object detection, BoT-Sort for multiple object tracking, and Deep Person Reid for re-identification. The program was developed in Python and alongside it was also created a website to change the configurations of the tracking system using the Flask framework. A message broker was also used for communication between the various components of the system. Validation tests demonstrate the effectiveness of the proposed framework in tracking multiple people across the campus. The proposed framework significantly contributes to developing efficient and effective multi-camera solutions for smart campus applications, with potential benefits for campus safety, security, and management. Overall, this dissertation presents a framework that effectively tracks multiple people in a smart campus environment. The framework is an important contribution to the smart campus context and has the potential for future development and applications beyond the university campus.