3D Object Detection and Tracking System Using Distributed Cameras: Development, Simulation, and Implementation

Abstract

This Master Degree in Mechatronics Engineering Dissertation presents a study of a Distributed Tracking Camera System, based on low cost cameras and microprocessor, to achieve 3D location of an IR beacon over a space of interest where there is camera coverage. In order to study the proposed system, mathematical models of camera transformations were inverted to obtain direction vectors defined in the world reference system (to which are the cameras poses themselves refered to) pointing from each camera to the object, and an optimisation algorithm based on Newton Conjugate Gradient to find the location of the object that best matches those vectors. To assess the error of the system, simulations have been developed using simulated cameras to generate the images of the beacon from each camera respective position, orientation, focal length, resolution and sensor size. A prototype of the system and respective software has been built to test the system; Sistema de detecção e seguimento de objectos em 3D com Recurso a Câmaras Distribuídas: Desenvolvimento, Simulação e Implementação - Resumo: Esta Dissertação de Mestrado em Engenharia Mecatrónica apresenta um estudo de um Sistema de Tracking Distribuído por Câmaras, baseado em câmaras de baixo custo e microprocessador, para localizar em 3D um emissor de infravermelhos (IR beacon) numa área de interesse com cobertura por câmaras. Para estudar o sistema proposto, foram invertidos modelos matemáticos das transformações de câmara, de forma a obter vetores de direção definidos no sistema de referência do mundo (ao qual se referem as próprias poses das câmaras), apontando de cada câmara para o objeto. Posteriormente, foi utilizado um algoritmo de otimização baseado no Gradiente Conjugado de Newton para encontrar a posição do objeto que melhor se ajusta a esses vetores. Para avaliar o erro do sistema, foram simuladas câmaras, capazes de gerar as imagens do emissor a partir da respetiva posição, orientação, distância focal, resolução e dimensão do sensor de cada câmara. Foi ainda construído um protótipo do sistema, juntamente com o respetivo software, de forma a testar o funcionamento do sistema.