Multispectral Image Segmentation in Agriculture using Deep Learning

Abstract

Multispectral imagery is frequently incorporated into agricultural tasks, providing valuable support for applications such as image segmentation, crop monitoring, field robotics, and yield estimation. From an image segmentation perspective, multispectral cameras can provide rich spectral information, helping with noise reduction and feature extraction. As such, this work concentrates on the use of data-combination (fusion) approaches to enhance the segmentation process in agricultural applications. More specifically, in this work, different fusion approaches are compared by combining RGB and NDVI as inputs for crop row detection, which can be useful for autonomous robots operating in the field. The inputs are used individually as well as combined at different times of the process (early and late fusion) to perform classical and deep learning (DL)-based semantic segmentation. In this work, two agriculture-related datasets are subjected to analysis using both DL-based and classical segmentation methodologies. The experiments reveal that classical segmentation methods, utilizing techniques such as edge detection and thresholding, can effectively compete with DL-based algorithms, particularly in tasks requiring precise foreground-background separation. This suggests that traditional methods retain their efficacy in certain specialized applications in the agricultural domain. Moreover, among the fusion strategies examined,late fusion emerged as the most robust approach, demonstrating superiority in adaptability and effectiveness across varying segmentation scenarios.

As imagens multiespectrais são frequentemente incorporadas em tarefas agrícolas, fornecendo um apoio valioso para aplicações como segmentação de imagens, monitorização de culturas, robótica agrícola e estimativa de rendimento. Do ponto de vista da segmentação de imagens, as câmaras multiespectrais podem fornecer informações espectrais valiosas, ajudando na redução de ruído e extração de características. Como tal, este trabalho concentra-se na utilização de abordagens de combinação de dados (fusão) para melhorar o processo de segmentação em aplicações agrícolas. Mais especificamente, neste trabalho são comparadas diferentes abordagens de fusão fazendo combinação de RGB e NDVI como entradas para a deteção de filas de culturas, o que pode ser útil para robôs autónomos que operam no campo. As entradas são utilizadas individualmente, assim como combinadas em diferentes momentos do processo (fusão precoce e fusão tardia) para realizar a segmentação semântica clássica e baseada em deep learning. Neste trabalho, dois datasets relacionados com a agricultura são analisados com recurso a metodologias de segmentação baseadas em deep learning e clássicas. Os experimentos revelam que os métodos clássicos de segmentação, utilizando técnicas como deteção de bordas e thresholding, podem competir eficazmente com algoritmos baseados em deep learning, especialmente em tarefas que requerem uma separação precisa entre o primeiro plano e o plano de fundo. Isso sugere que métodos tradicionais mantêm a sua eficácia em aplicações especializadas no domínio agrícola. Além disso, entre as estratégias de fusão examinadas, a fusão tardia emergiu como a abordagem mais robusta, demonstrando superioridade em adaptabilidade e eficácia em cenários de segmentação variados.