An empirical study on the effect compression on the performance of point clouds segmentation algorithms

Abstract

Nuvens de pontos são conjuntos de pontos que representam um objeto ou cena 3D, em que os pontos são representados pelas respetivas coordenadas 3D e atributos opcionais tais como cor, reflectância, entre outros. Estas são usadas em várias áreas de aplicação como, por exemplo, entretenimento, representação de terrenos, imagens médicas e, mais recentemente, sistemas de condução autónoma de veículos. No entanto, devido ao grande volume de dados necessários para representar as nuvens de pontos, essas aplicações iriam precisar de um grande poder de processamento e, em alguns casos, poderia não ser possível realizar as tarefas em tempo real. Portanto, a compressão é usada para combater o problema de armazenamento e transmissão em tempo real. Sabe-se que a compressão com perdas introduz distorções geométricas que, geralmente, dependem do grau de compressão. Dado que em algumas aplicações é necessário segmentar os objectos que compõem a nuvem de pontos reconstruída/descomprimida, é importante perceber e caracterizar o efeito do tipo e grau de compressão na performance das tarefas de segmentação e classificação.Nesta dissertação, são descritos dois tipos de experiências: uma com nuvens de pontos de uso geral e a outra usando um caso particular das nuvens de pontos, mais precisamente, o LiDAR. Esta divisão foi feita, pois é provável que os resultados destas duas experiências sejam diferentes devido às aplicações distintas destas classes de nuvens de pontos, assim como respetivos requisitos de precisão. Estas experiências foram criadas para avaliar empiricamente o efeito de diferentes métodos de compressão de nuvens de pontos usando diferentes graus de compressão na performance de vários algoritmos de segmentação e classificação. Para isso, várias medidas de performance são usadas para avaliar o comportamento de cada caso.

Point clouds are sets of points which represent a 3D object/scene represented by their coordinates and optional attributes such as color, reflectance or other. Point clouds are being used in several application areas such as entertainment, terrain representation, medical imaging and, more recently, autonomous vehicle guidance systems. Due to the large size of point clouds, these applications would require a huge power processing and, in some cases, tasks may not be able to be performed in real time. Thus, compression is used to tackle the challenges of storage and real-time transmission. It is known that lossy compression introduces geometric distortions to the point clouds which are usually dependent on the compression rate. Therefore, in some cases, it is necessary to segment the component objects of the reconstructed/decompressed point cloud, it is important to understand and characterize the effect of the type and degree of compression on the performance of the segmentation and classification tasks. In this dissertation, two sets of experiments are described: one with general use point clouds and the other using a particular type of point clouds, more precisely LiDAR. This division was made because it is likely that the results are different for these two types due to the amount of precision and uses of each point cloud type. These experiments are designed to empirically evaluate the effect of different point cloud compression methods, employed at different compression rates, on the performance of several point cloud segmentation and classification algorithms. For that, several performance measures are used to evaluate the behavior of each case.