Depth Estimation using Light-Field Cameras

Abstract

Plenoptic cameras or light field cameras are a recent type of imaging devices that are starting to regain some popularity. These cameras are able to acquire the plenoptic function (4D light field) and, consequently, able to output the depth of a scene, by making use of the redundancy created by the multi-view geometry, where a single 3D point is imaged several times. Despite the attention given in the literature to standard plenoptic cameras, like Lytro, due to their simplicity and lower price, we did our work based on results obtained from a multi-focus plenoptic camera (Raytrix, in our case), due to their quality and higher resolution images. In this master thesis, we present an automatic method to estimate the virtual depth of a scene. Since the capture is done using a multi-focus plenoptic camera, we are working with multi-view geometry and lens with different focal lengths, and we can use that to back trace the rays in order to obtain the depth. We start by finding salient points and their respective correspondences using a scaled SAD (sum of absolute differences) method. In order to perform the referred back trace, obtaining robust results, we developed a RANSAC-like method, which we call COMSAC (Complete Sample Consensus). It is an iterative method that back trace the ligth rays in order to estimate the depth, eliminating the outliers. Finally, and since the depth map obtained is sparse, we developed a way to make it dense, by random growing. Since we used a publicly available dataset from Raytrix, comparisons between our results and the manufacturers’ ones are also presented. A paper was also submitted to 3DV 2014 (International Conference on 3D Vision), a conference on three-dimensional vision.

Cˆamaras plen´opticas ou cˆamaras de campo de luz s˜ao dispositivos que est˜ao a voltar a ter alguma popularidade. Este tipo de cˆamaras s˜ao capazes de adquirir a fun¸c˜ao plen´optica (campo de luz 4D) e, consequentemente, capazes de estimar a profundidade de uma cena, usando a redundˆancia criada pela geometria ”multi-view”, onde um ponto 3D ´e projetado na imagem diversas vezes. Apesar de ter sido dada uma maior aten¸c˜ao na literatura `as cˆamaras plen´opticas standard, como s˜ao exemplo as Lytro, visto que s˜ao mais simples e com um pre¸co muito mais interessante, o nosso trabalho foi desenvolvido tendo por base os resultados obtidos por uma cˆamara plen´optica ”multi-focus” (uma Raytrix, no nosso caso), visto que a qualidade ´e superior e consegue obter imagens com maior resolu¸c˜ao. Nesta tese de mestrado, apresentamos um m´etodo autom´atico para estimar a profundidade de uma cena. Visto que a captura da cena ´e efetuada com uma cˆamara plen´optica ”multi-focus”, estamos a trabalhar com geometria ”multi-view” e com lentes que tˆem distˆancias focais diferentes, podendo ser usado esse facto para efetuar tra¸co de raios de forma a obter a profundidade. Come¸camos por encontrar pontos salientes e as suas respetivas correspondˆencias usando um valor escalado de SAD (soma das diferen¸cas absolutas). Por forma a efetuar o tra¸co de raios, obtendo resultados mais robustos, desenvolvemos um m´etodo estilo RANSAC, ao qual cham´amos COMSAC (Complete Sample Consensus). E um m´etodo iterativo que efetua o tra¸co de raios de ´ forma a estimar a profundidade, eliminando resultados indesejados. Finalmente, e visto que o mapa de profundidade obtido ´e esparso, desenvolvemos um m´etodo para o tornar denso, com recurso a um m´etodo de crescimento aleat´orio. Por forma a testar os algoritmos desenvolvidos, utiliz´amos um conjunto de dados abertos ao p´ublico da Raytrix e apresentamos tamb´em a compara¸c˜ao entre os nossos resultados e os resultados obtidos pela Raytrix. Foi tamb´em submetida um artigo para a 3DV (Conferˆencia Internacional em Vis˜ao 3D), uma conferˆencia em vis˜ao tri-dimensional.