Melody detection in polyphonic audio

Abstract

No presente trabalho de investigação, abordamos o problema da detecção de melodia em áudio polifónico. O nosso sistema engloba três módulos principais, onde são propostos um conjunto de procedimentos baseados em regras, de forma a atingirem-se os objectivos específicos de cada unidade: i) detecção de tom; ii) determinação de notas musicais (com tons e limites temporais precisos); e iii) identificação de notas melódicas. É seguida uma aborda-gem multi-etapa, inspirada em princípios da teoria perceptual, bem como de práticas musicais comuns. O nosso método incorpora modelos fisiológicos e princípios perceptuais de organização de som, replicando de algum modo o comportamento do sistema auditivo humano. Adicionalmente, são aplicados princípios musicológicos, de forma a apoiar a identificação das notas musicais que comunicam a linha melódica principal. Os resultados experimentais conduzidos demonstram que o nosso método apresenta um desempenho satisfatório sob as condições especificadas. No entanto, foram encontradas dificuldades adicionais em excertos onde a intensidade da melodia em comparação com a do acompanhamento circundante não era tão favorável. Concluindo, apesar da sua vasta gama de aplicação, a maior parte dos problemas de investigação envolvidos na detecção de melodia são complexos e estão ainda em aberto. Muito provavelmente, algoritmos suficientemente robustos, genéricos e eficientes só estarão disponíveis depois de vários anos de investigação intensiva.

In this research work, we address the problem of melody detection in polyphonic audio. Our system comprises three main modules, where a number of rule-based procedures are proposed to attain the specific goals of each unit: i) pitch detection; ii) determination of musical notes (with precise temporal boundaries and pitches); and iii) identification of melodic notes. We follow a multi-stage approach, inspired on principles from perceptual theory and musical practice. Physiological models and perceptual cues of sound organization are incorporated into our method, mimicking the behavior of the human auditory system to some extent. Moreover, musicological principles are applied, in order to support the identification of the musical notes that convey the main melodic line. Experimental results were conducted, showing that our method performs satisfactorily under the specified assumptions. However, additional difficulties are encountered in song excerpts where the intensity of the melody in comparison to the surrounding accompaniment is not so favorable. To conclude, despite its broad range of applicability, most of the research problems involved in melody detection are complex and still open. Most likely, sufficiently robust, general, accurate and efficient algorithms will only become available after several years of intensive research.