Development of machine learning tools for the extraction of behavioral and physiological parameters of birds in their natural environment

Abstract

Coastal environments are essential for many species, including seagulls of the Larus michahellis and Ichthyaetus audouinii species, which can be impacted by human activity. To better understand the effects of human activity on seagulls, their stress levels were measured by analyzing their heart rate. To achieve this goal, dummy eggs with microphones were built to record the seagull heart beat. In this work, a machine learning approach that combined features extracted from Mel-frequency Cepstral Coefficients (MFCC) and Artificial Neural Networks (ANN) was developed to analyze the audio and identify the segments that had heartbeats. The combination that showed the best results extracted 15 averages and 15 standard deviations from the Mel-frequency Cepstral Coefficients extracted from a 5-second audio window, then analyzed them with a six layer, diamond shape, feedforward Artificial Neural Network. It successfully identified the heart beat in the audio. After identification, these segments were analyzed by a combination of Convolutional Neural Network (CNN) with Recurrent Neural Network (RNN) using Long Short-Term Memory (LSTM) cells to locate the individual heartbeats. The combination that got the best results used two one dimension convolutional layers, a max pooling layer, three layers with Long Short-Term Memory cells and one dense layer. The identification of heartbeats within the samples showed promising results, with the fluctuations in the ANN output corresponding to the location of the heartbeats.

Os ambientes costeiros são essenciais para muitas espécies, incluindo as gaivotas das espécies Larus michahellis e Ichthyaetus audouinii, que podem ser afetadas pela atividade humana. Para melhor compreender os efeitos da atividade humana nas gaivotas, os seus níveis de stress foram medidos através da análise do seu ritmo cardíaco. Para atingir este objetivo, foram construídos ovos falsos com microfones para registar o ritmo cardíaco das gaivotas. Neste trabalho, foi desenvolvida uma abordagem de aprendizagem de máquina que combinou características extraídas dos Coeficientes Cepstrais de Frequência de Mel (CCFM) e Redes Neuronais Artificiais (RNA) para analisar o áudio e identificar os segmentos que tinham batimentos cardíacos. A combinação que apresentou os melhores resultados extraiu 15 médias e 15 desvios-padrão dos Coeficientes Cepstrais de Frequência de Mel extraídos de uma janela de áudio de 5 segundos e, em seguida, analisou-os com uma Rede Neuronal Artificial de seis camadas, em forma de losango. Identificou com êxito o batimento cardíaco no áudio. Após a identificação, esses segmentos foram analisados por uma combinação de Rede Neural Convolucional (RNC) com Rede Neural Recorrente (RNR) usando células de Memória de Curto Longo Prazo (MCLP) para localizar os batimentos cardíacos individuais. A combinação que obteve os melhores resultados utilizou duas camadas convolucionais de uma dimensão, uma camada de agrupamento máximo, três camadas de células de Memória de Curto Longo Prazo e uma camada densa. A identificação de batimentos cardíacos nas amostras mostrou resultados promissores, com as flutuações da saída da RNA a corresponderem à localização dos batimentos cardíacos.