Automatic Classification of Ultrasonic Vocalizations in Rodents: a Neurodevelopmental Study

Abstract

The evolution of technology led to an exponential increase in the amount of data being collected and stored in the most diverse areas. This is also true regarding bioacoustic studies, namely in rodents. These bioacoustic studies have recently drawn increasing attention since they present a simple and flexible tool to access animal models.Over the years, several studies have emphasized the importance of studying the sounds produced by rodents from the point of view of being used as a biomarker to evaluate the interaction between animals, mainly in social related studies. Thus, the study of Ultrasonic Vocalizations has been used on multiple occasions in order to characterize reduced social interaction. However, the true meaning of the ultrasonic vocalizations produced by mouse and which circumstances led the animals to vocalize certain sounds to the detriment of others, still remains largely unknown.During social experiments, the number of vocalizations acquired is typically in the order of the tens or hundreds per minute, which makes it harder to process them manually. Thus, in order to process such a big throughput of data, computer software is required. For this reason, the need for computational software capable of process Ultrasonic Vocalizations, namely recognize and categorize them, is the main motivation behind this work.This thesis project presents a novel algorithm, based on spectral entropy, capable of segmenting ultrasonic vocalizations, with a recall value up to 97%, as well as several classification methods capable of discriminate among ten different vocalizations with 81.1% accuracy. This presents a significant step forward in relation to the state of the art classification methodologies, which only can classify five different classes. As the final product, a software application was developed in MATLAB, integrating the proposed segmentation and classification solutions in the same fully automated pipeline, capable of processing raw audio files and extract meaningful information.

A evolução da tecnologia levou a um aumento exponencial da quantidade de dados recolhidos e armazenados nas mais diversas áreas. No que diz respeito a estudos bioacústicos, a tendência observada é semelhante, nomeadamente nos estudos desenvolvidos com roedores. Para além disso, neste tipo de estudos tem-se feito sentir um crescente interesse, visto que estes se apresentam como uma ferramenta simples e flexível que permite a avaliação de modelos animais.Ao longo dos anos, diversos estudos têm salientado a importância do estudo dos sons produzidos por roedores sob o ponto de vista de serem usados como um biomarcador que permita a avaliação da interação entre os animais, nomeadamente em estudos de índole social. Assim, o estudo das vocalizações ultrassónicas tem sido utilizado por diversas ocasiões como meio para caracterizar interação social. Contudo, o verdadeiro significado dos sons produzidos pelos animais assim como que tipo de circunstâncias os levam a produzir certos tipos de sons em detrimento de outros, permanecem desconhecidos.Tipicamente, o número de vocalizações adquiridas em experiências de ´índole social atinge facilmente a ordem das dezenas ou centenas por minuto, o que torna a tarefa de as processar manualmente extremamente difícil. Desta forma, a fim de processar tamanhas quantidades de dados em tempo útil, torna-se imperativo o desenvolvimento de software computacional capaz de fazer esse processamento, sendo que deve ser capaz de reconhecer e classificar as vocalizações dos sinais a processar. Desta forma, a principal motivação desta tese está relacionada com necessidade de desenvolvimento de software com as características anteriormente mencionadas.Nesta tese uma nova metodologia, baseada na entropia espectral, capaz de segmentar vocalizações ultrassónicas foi desenvolvida, sendo capaz de obter valores de recall de 97%. Para além disso, foram também construídos diversos modelos de classificação capazes de discriminar entre dez classes diferentes de vocalizações, com 81.1% de taxa de acerto. Tal facto constitui um avanço significativo que diz respeito ao estado da arte, em que são apenas distinguidas cinco classes. Do trabalho desenvolvido neste projeto, resultou como produto final uma aplicação desenvolvida em MATLAB que integra, quer os algoritmos de segmentação desenvolvidos quer os de classificação. Assim, o software desenvolvido permite o completo processamento de sinais áudio não processados, desde a extração de informação relevante, passando pela classificação e reconhecimento de vocalizações. Todo o processo funciona de forma automática.