Please use this identifier to cite or link to this item:
https://hdl.handle.net/10316/35538
Title: | Coloração da Imagem Através do Som | Authors: | Domingues, Samanta Andreia Silva | Orientador: | Cardoso, Fernando Amílcar Bandeira | Keywords: | Sinestesia; Mapeamento som-cor; Extracção de características; Coloração; Fotografia | Issue Date: | 11-Sep-2014 | Serial title, monograph or event: | Coloração da Imagem Através do Som | Place of publication or event: | Coimbra | Abstract: | Desde o século XIX que muitos artistas procuram explorar a ideia de
sinestesia, encontrando uma relação entre duas sensações distintas.
Vasilly Kandinsky (1866-1944) foi um dos artistas que estudou
a união de sensações, explorando a harmonia entre a relação som-cor.
Assim, utilizou expressões musicais para descrever as suas pinturas,
nomeadamente “composições e “improvisos .
Actualmente, com o avanço tecnológico, o consumo de imagens
tem aumentado significativamente, sendo este aumento mais evidenciado
com o aparecimento das câmaras digitais, acessíveis na
maioria dos dispositivos tecnológicos. Com este projecto pretendeuse
unir o som e a cor, através de um mapeamento, possibilitando
a criação de uma imagem representativa de multisensorialidade, não
só “materializando o que é visível, “congelando um instante, como
também o que é audível, registando na fotografia as características
sonoras do momento. Ao processo de mapeamento entre som e cor
precedem-se duas etapas principais: extracção das características
sonoras e classificação do som. Após o resultado da classificação
é realizada a atribuição de cor à imagem.
Para a realização deste projecto foi necessário construir um catálogo
de sons, onde estes foram separados por categorias. Após esta
etapa desenvolveu-se um programa para a extracção das principais
características sonoras, para que estas fizessem parte constituinte
de um conjunto de treino e teste. Este conjunto criado foi utilizado
para a formação de um classificador de sons sendo, até à data,
a taxa de sons correctamente classificados de 62%. Posteriormente,
foi criada uma paleta de cores associada a cada uma das categorias,
e desenvolvido um programa que procede à coloração da imagem,
previamente transformada em tons de cinza.
Com o desenvolvimento deste projecto resultou a criação de
um protótipo de uma aplicação representativa de todo o processo
desenvolvido. A aplicação permite ao utilizador a captura e upload
de uma imagem em níveis de cinzento e de um som. Após a definição
do som, a aplicação procede à sua classificação e, estando
esta concluída, é apresentada ao utilizador a imagem resultante do
processo de coloração. Com este processo concluído, o utilizador tem
a opção de atribuir efeitos visuais de acordo com o som analisado,
proporcionando uma visualização dinâmica do som sobre a imagem.
Esta aplicação permite ao utilizador guardar uma imagem representativa
da multisensorialidade, ou mesmo os ficheiros originais,
som e imagem, para uma posterior utilização. Since the 19th century, several artists have been trying to explore the synesthesia idea, finding a relation between two distinct sensations. Vasilly Kandinsky (1866-1944) was one of the artists that studied the union of sensations, exploring the harmony between sound and color. As a result, he used musical expressions to describe his paintings, namely “composition and “improvisation . Nowadays, with the technological advances, the image consumption has significantly increased. The availability of digital cameras in almost every technological device has made this evolution more visible. With this project, we intend to connect audition with vision by mapping sound and color. More concretely, our aim is the creation of a representative image of multisensoraliaty, by “materializing what is visible and what is audible, by “freezing an instant, registering in photograph the sound features of the moment. The process of mapping between sound and color develops in three main tasks: extraction of sound features, sound classification and ascribing color to the image, taking into account the result of the two previous tasks. To accomplish this, it was necessary to create a catalog of sounds organized in a number of different categories. Afterwards, we developed a program for the extraction of the main characteristics of sound, and used it to train-and-test a classifier. At the current stage of the research, we were able to obtain a success rate of 62%. Then, we associated a color palette to each category identified by the classifier, and developed a program that performs coloration of grayscale images according to the category of sound identified by the classifier. We present the prototype of an application that implements the above process. The application allows the user to capture and upload a grayscale image, and the surrounding sound. The sound is then classified, the application presents the image to the user, and then performs the coloration. After this process, the user has the option to add visual effects, dependent on the features of the analyzed sound, providing a dynamic visualization of the sound over the image. This application allows the user to save the final multisensorial artifact, as well as the originals files, sound and image, for a later utilization. |
Description: | Dissertação de Mestrado em Design e Multimédia apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra | URI: | https://hdl.handle.net/10316/35538 | Rights: | openAccess |
Appears in Collections: | UC - Dissertações de Mestrado FCTUC Eng.Informática - Teses de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Coloracao da imagem atraves do som e Cor.pdf | 3.44 MB | Adobe PDF | View/Open |
Page view(s) 50
446
checked on Oct 15, 2024
Download(s) 20
1,657
checked on Oct 15, 2024
Google ScholarTM
Check
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.