Application of Mixed Reality devices for Robot Manipulator programming: aspects related with the system implementation

Abstract

Mixed Reality blends Augmented and Virtual Reality introducing in the real world virtual information to users. The upsurge of this technology in society has had a crucial impact in several areas as education, healthcare, industry, amongst others. The industry field invested in mixed reality in order to improve the products’ quality as well as the operator’s safety, which corroborates the perfect fit of this technology to the ideals of the industry 4.0 leading to the improvement of the cooperation between humans and machines. Robotics’ field has a lot to benefit from Mixed Reality, i.e., the robot programming could become easier and intuitive through a simple Human-Machine Interface (HMI) that guides the user through the robots’ manipulation. In fact, manufacturing tasks such as additive-manufacturing needed new tools to analyze and optimize trajectories before they are executed.Throughout the dissertation, the implementation of two different apps designed for the Mixed Reality device, Microsoft HoloLens, are explained. The first app, path visualization, is used to visualize the trajectory made by a robot through an “augmented” line. The commands required to store all the position data from the robot are explained in detail as well as the communication protocol TCP/IP used to establish connection with the Mixed Reality environment, Microsoft HoloLens. The second app, graphical path manipulation, allows users to design the trajectory in the Mixed Reality environment and, posteriorly, execute it with the robot. Parameters such as velocity and precision could be defined by the user, thus all the commands that stored the data and organized the robot’s trajectory are part of this explanation.The development of the created apps jointly with this dissertation intends to show to the industry the potential of the Mixed Reality in robotics.

A Realidade Mista interliga a Realidade Aumentada e a Realidade Virtual introduzindo objetos virtuais no ambiente dos utilizadores. A génese desta tecnologia na sociedade teve um impacto crucial em diversas áreas como a educação, a saúde, a indústria, entre outras. O ramo industrial investiu na Realidade Mista para melhorar a qualidade dos produtos, assim como a segurança do trabalhador o que corrobora o enquadramento desta tecnologia na industria 4.0 levando a progressos na cooperação entre os homens e as máquinas.O ramo da robótica tem muito a beneficiar com a Realidade Mista, ou seja, a programação de robôs poderá tornar-se mais fácil e intuitiva através de uma simples Interface Homem-Máquina (IHM) que guia o utilizador na manipulação de robôs. De facto, tarefas de produção como adição de material precisam de ferramentas para analisar e otimizar as trajetórias antes de as realizar.Ao longo da dissertação, a implementação de duas apps diferentes que foram desenvolvidas para o dispositivo de Realidade Mista, Mircrosoft HoloLens, são explicadas. A primeira app, “Visualização da trajetória”, é usada para visualizar a trajetória feita por um robô através de uma linha “aumentada”. Os comandos precisos para guardar todos os dados da posição serão explicados em detalhe, assim como o protocolo de comunicação TCP/IP usado para estabelecer a conexão com o ambiente de Realidade Mista, Microsoft HoloLens. A segunda app, “Manipulação da trajetória gráfica”, permite ao utilizador formar a trajetória no ambiente de Realidade Mista e, posteriormente, executá-la com o robô. Os parâmetros como a velocidade e a precisão podem ser definidos pelo o operador. Assim, todos os comandos que guardam os dados e a organização da trajetória do robô fazem igualmente parte do âmbito desta dissertação.O desenvolvimento das apps criadas conjuntamente com esta dissertação pretendem mostrar à indústria o potencial da Realidade Mista na robótica.