Augmented reality applied to the industry

Abstract

The recent surge in Augmented Reality (AR) led to its application in numerous areas, particularly industry. This technology is one of the pillars of the transition we are now living towards, the fourth significant industrial change termed "Industry 4.0", which requires the maturity of simultaneous mapping the real world and localising the camera, performed dynamically in real-time with higher confidence and robustness than in the past.Using Smart Glasses with a monocular camera system on the user's forehead, this approach encompasses recording the environment, where freely placed fixed fiducial squared markers of multiple sizes are distributed and used to estimate the camera pose. To do this, the user navigates in the environment, and the markers pose estimation is done with the aid of an Extended Kalman Filter applied to the "Perspective-N-Points". This filter provides the pose estimation and uncertainty per marker, allowing a relation between markers with uncertainty associated if at least two markers are detected in the video frame, enabling their mapping. The updated map leads to a faster and more robust camera pose estimation while allowing for scale determination, drifting effect reduction, and providing the algorithm with an absolute axis. Moreover, this method presents a more flexible solution to improving the mapping and localisation of the known areas and expanding to the unknown by adding more markers. Finally, this project allows estimating where the user is looking to provide superimposed information about its work, particularly in an industrial environment of a mould assembly line, possibly improving its workflow while being a time-saver.Nevertheless, this method can be used for multiple other areas such as other industrial applications, mobile robot localisation applications, video games, and drones.

A recente explosão da Realidade Aumentada (RA) levou à sua aplicação em diversas áreas, e em particular na indústria. Esta tecnologia é um dos pilares que sustenta a quarta e atual grande revolução industrial denominada "Indústria 4.0", que requer maturidade no mapeamento e localização da câmara em simultâneo, que deve ser realizada dinamicamente e em tempo real com maior confiança e robustez do que no passado.Com auxílio de “Smart Glasses”, que possuem um sistema de câmara monocular na testa do utilizador, esta abordagem abrange a gravação do ambiente onde são distribuídos marcadores fiduciais fixos de vários tamanhos e utilizados para realizar a estimação da pose da câmara. Para tal, o utilizador deve navegar no ambiente onde a estimação da pose dos marcadores é feita com a ajuda de um Filtro de Kalman Estendido aplicado a "Perspective-N-Points". Este filtro fornece a estimação da pose e incertezas de cada marcador, permitindo que estes se relacionem entre si com uma incerteza associada quando pelo menos dois marcadores são detetados na imagem atual do vídeo, o que permite o seu mapeamento. Este mapa, uma vez atualizado, consegue suportar uma estimação da pose da câmara mais rápida e mais robusta, enquanto permite a determinação da escala, redução do efeito de “drifting”, e estabelece ao algoritmo com um eixo absoluto. Além disso, este método apresenta uma solução mais flexível na melhora do mapeamento e a localização de áreas conhecidas e expansão para desconhecidas através da introdução de mais marcadores. Finalmente, este projeto permite estimar para onde o utilizador está a olhar de forma a fornecer informação sobre o seu trabalho sobreposta ao mundo real, particularmente num ambiente industrial de uma linha de montagem de moldes, o que permite uma possível melhora no seu fluxo de trabalho enquanto otimiza tempo.Este método pode ainda ser utilizado para diversas outras áreas, tais como outras aplicações industriais, aplicações de localização de robôs móveis, jogos e “drones”.