Design explorations of interactive virtual environments using volumetric capture and visualisation techniques

Abstract

Capturar ambientes e momentos foi algo que sempre fascinou o homem – desde pinturas, a fotografia analógica, a câmaras digitais. Com os recentes avanços em AR e VR, a captura volumétrica da realidade tem ganho tracção, tendo o potencial para criar ambientes visuais imersivos, de útima geração, esbatendo as linhas entre o mundo real e o virtual. Capturar e transmitir o próprio espaço é um dos principais desafios na área dos meios imersivos. Neste sentido, a captura de áreas do património cultural é um objetivo recorrente e tem sido geralmente realizada quer por vídeo de 360 graus, quer por fotografia panorâmica. No entanto, estes métodos naturalmente limitam a sensação total de profundidade por parte do utilizador. Uma solução para ultrapassar esta limitação consiste em capturar dados do mundo real através de métodos de captura volumétrica, resultando num conjunto de pontos de dados no espaço também conhecido por “nuvem de pontos”. Esta nuvem de pontos passa por um processo de reconstrução, transformando-a numa malha poligonal 3D. Contudo, este processo limita a sua capacidade de proporcionar um sentido mais profundo de imersão. No entanto, ao utilizar nuvens de pontos como base de um ambiente imersivo, podemos explorar novas linguagens visuais e modos alternativos de percepção.O objectivo desta tese é a criação de um time-stamp digital do Jardim Botânico da Universidade de Coimbra, através da captação da realidade e, portanto, de um momento no tempo que pode ser executado e visualizado em espaço 3D (através da Realidade Virtual), em tempo real. Este time-stamp digital consiste em três locais distintos do Jardim contendo espécimes de árvores centenárias. Estas áreas foram digitalizadas através de técnicas de captura volumétrica para criar nuvens de pontos, que foram utilizadas como base de uma experiência audio-visual imersiva cujo principal objectivo é captar o ambiente do Jardim juntamente com mostrar às pessoas os seus processos naturais normalmente escondidos a olho nu com a finalidade de reavivar a nossa relação com a natureza. Esta tese resultou em conteúdo multimédia constituído por uma experiência baseada em PC e VR, e vídeos de 360 graus. As variantes PC e VR foram avaliadas por 22 voluntáros, resultando numa distribuição de resposta positiva para as experiências do utilizador em relação à sua relação com o mundo natural.

Capturing environments and moments in time has always been something humans have been fascinated by – from paintings to analogue photography, to digital cameras. With the recent developments to AR and VR technologies, direct volumetric capture of reality has been gaining traction, with the potential of creating immersive, state-of-the-art visuals, blurring the lines between the real and virtual worlds.Capturing and transmitting space itself is one of the leading challenges in the field of immersive media. Capturing areas such as sites of cultural heritage is part of this equation and has generally been achieved either by 360-degree video or photography. However, these methods limit the user’s full sense of depth of the image. A solution to overcome this limitation consists of capturing real-world data through reality capture methods, resulting in a set of data points in space called a point cloud. This point cloud then passes through a reconstruction process, transforming it into a 3D polygonal mesh. However, this process limits its ability to provide a deeper sense of immersion and can introduce undesirable interpolations of reality. Nonetheless, by using point clouds as the basis of an immersive environment, we can explore new visual languages and alternate modes of perception.The objective of this thesis is the creation of a point cloud-based digital time-stamp of the Botanical Garden of the University of Coimbra, by capturing reality and thus a moment in time that can be run and visualised in 3D space (through Virtual Reality), in real-time. This digital time-stamp consists of three distinct locations within the Garden, containing century-old tree specimens. These areas were digitised through photogrammetry to create point clouds, which were then used as the basis of an immersive audio-visual experience whose main goal was to convey the ambiance of the Garden, along with showing people its natural processes usually hidden to the naked eye with the aim to rekindle our relationship with nature. This thesis resulted in multimedia content consisting of PC and VR based experiences, and 360 degree videos. Both PC and VR variants were evaluated by 22 volunteers, resulting in a positive response distribution for the user’s experience in relation to their relationship with the natural world.