Prototype of a Mixed Reality Videoconferencing Tool

Abstract

Realidade Mista (RM) junta o mundo real e virtual, permitindo a interação entre objectos físicos e digitais em tempo real. Enquanto a Realidade Virtual (RV) cria ambientes artificiais onde os usuários estão completamente imersos e a Realidade Aumentada (RA) sobrepõe informações digitais no mundo real em uma experiência parcialmente imersiva, MR estende o conceito deste último, permitindo uma interação mais profunda entre o mundo real e virtual. Em um ambiente de MR, elementos reais e digitais interagem entre eles e com o usuário, proporcionando uma experiência mais completa.Videoconferências permitem a comunicação entre vários utilizadores de forma remota utilizando transmissão de video e audio em tempo real. Com esta tecnologia é possível fazer reuniões, palestras e apresentações entre o numero de pessoas que for preciso, desde uma reunião um a um até uma palestra com centenas de pessoas. Os utilizadores podem participar em videoconferências com o uso de computadores, smartphones e outrostipos de tecnologia similares.Nesta tese, a RM será aplicado a um cenário de videoconferência para enriquecer a qualidade da experiência de todos os utilizadores da mesma sessão. Usando a plataforma criada, os utilizadores locais podem compartilhar o seu feed de câmera para apresentar um ambiente real com artefatos que será aprimorado com uma sobreposição digital. Por outro lado, os utilizadores remotos iram receber o feed em tempo real de um ambiente real e podem aceder aos dados fornecidos pela sobreposição digital que têm informações adicionais. A sobreposição digital não só fornece informações contextuais, mas também melhora a interação entre os dois tipos de utilizadores - locais e remotos.

Mixed Reality (MR) merges real and virtual worlds, allowing the interaction between physical and digital objects in real time. While Virtual Reality (VR) creates artificial environments where users are completely immersed and Augmented Reality (AR) overlays digital information on the real world in a partially immersive experience, MR extends the concept of the latter by enabling a deeper interaction between real and virtual worlds. In a MR environment, real and digital elements interact between them and with the user, providing a more complete experience.Video conferences allow for communication between several users remotely using real-time video and audio feeds. With this technology it is possible to hold meetings, lectures and presentations among as many people as necessary, from a one-on-one meeting to a lecture with hundreds of people. Users can participate in videoconferences with the use of computers, smartphones and other similar types of technology.In this thesis, MR will be applied to a videoconference scenario to enrich the quality of experience of users in the same session. Using the platform created, local users can share their camera feed to present a real environment with artifacts that will be enhanced with a digital overlay. On the other end, remote users will receive the real-time feed from a real environment and can access the provided digital overlay with additional information. The digital overlay not only provides contextual information but also improves the interaction between the two type of users - local and remote.