O Som da Cor

Abstract

O acto de percepcionar através dos sentidos ou da mente é uma das capacidades mais poderosas dos seres humanos. O mundo está repleto de diversos estímulos que são reconhecidos por várias pessoas de diversas formas. Baseando-nos em estudos de mapeamento cor-som, música visual, e utilizando técnicas de multimédia, visão computacional e aprendizagem máquina, desenvolvemos a instalação intitulada "The Perceptual World", cujo intuito consiste em produzir múltiplas percepções através de diferentes estímulos visuais e auditivos. As características da distribuição da cor de uma imagem são utilizadas simultaneamente para criar um sistema de classificação de imagens, bem como para impulsionarem o mapeamento cor-som. Como resultado final, é possivel relacionar diferentes percepções: as que são exclusivamente obtidas através das imagens e as que resultam do mapeamento visual-auditivo. A presente dissertação reflecte todo o trabalho realizado. Inicialmente, foi estabelecida uma base teórica que se baseia num estudo sobre a música, cor, semiótica, percepção visual, visão computacional e na relação entre som e cor. No estudo da música, é feita uma breve contextualização histórica, é abordada a teoria musical, a música visual e ainda a música computacional. Relativamente à cor, são apresentadas as pesquisas acerca da teoria da cor, da importância luz-cor e dos espaços de cor. Quando à percepção visual, são demonstradas duas abordagens - a teoria de Gestalt e os princípios da abordagem computacional de David Marr. Na relação entre o som e a cor é apresentado um dos primeiros trabalhos realizados, resultante dessa relação e ainda são demostradas três associações possíveis de efectuar entre estas duas grandezas. Após esta componente, seguiu-se o desenvolvimento prático. Primeiramente, foi feito um pequeno trabalho exploratório, para averiguar possíveis potenciais e, somente depois, prosseguimos para o desenvolvimento propriamente dito.

The act of perceiving by means of the senses or of the mind is one of the most powerful capabilities of the human beings. The world we live in is full of various stimuli that are recognized by different people in different ways. Through sound we can express and recognize emotions and feelings, such as for color. Based on studies on color-sound mapping, as well as on visual music, and using tools and techniques borrowed from multimedia, computer vision, and machine learning, we developed an installation entitled “The Perceptual World whose aim is to produce multiple perceptions from different visual-auditory stimuli. Color image features are simultaneously used to create an image classification system and to be the starting point of a color-sound mapping. As a final result, it is possible to relate different perceptions: the ones that are exclusively obtained from images and the others that are conveyed by the outcome of the visual-auditory mapping. This dissertation reflects the work done. We start by establishing a theoretical basis based on the relation between sound and color as well as on the study of music, color, semiotics, visual perception, and computer vision. In our music study, we make a brief historical overview and present some theory. An overview of visual musical and computational music is also part of this study. As for color, we present studies on color and light-color theories as well as on color spaces. On visual perception, we present two approaches - Gestalt theory and David Marr’s computational approach. Finally, we describe the proposed installation and discuss our contribution.