Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

📄 arXiv: 2606.13236 📥 PDF

作者: Olga Isupova, Danil Kuzin, Ella Browning, Tom Mills, Steven Reece

分类: cs.LG, cs.AI, cs.SD, stat.AP

发布日期: 2026-06-12

💡 一句话要点

提出PULSE框架以解决生态声学分类的局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 生态声学 半监督学习 多任务学习 知识蒸馏 生物监测 特征提取 主动学习

📋 核心要点

  1. 现有的自动化声学监测工具通常训练范围狭窄，无法有效转移到新的生态环境中，限制了其应用。
  2. 本文提出的PULSE框架结合了弱监督分类、自监督学习和知识蒸馏，旨在提高Orthoptera生物声学的分类性能和适应性。
  3. 实验结果显示，PULSE框架在F1和AUC等指标上显著优于现有的最先进模型，且通过主动学习进一步提升了性能。

📝 摘要（中文）

被动声学监测在生态推断中具有巨大潜力，但现有的自动化工具通常训练范围狭窄且不可转移。为了解决这些局限性，本文提出了PULSE，一个半监督的多任务框架，专注于Orthoptera（直翅目）生物声学。该框架结合了弱监督的物种分类、对未标记现场音频的自监督学习，以及从通用生物声学模型中进行的知识蒸馏。实验结果表明，经过领域适应的专用模型在各项指标上均优于最先进的通用模型，F1值从0.21提升至0.34，AUC从0.74提升至0.84，且所学的嵌入编码了生态上有意义的结构，通过交互式可视化工具实现生态发现。

🔬 方法详解

问题定义：本文旨在解决现有自动化声学监测工具在生态声学分类中的局限性，特别是其训练范围狭窄和不可转移性的问题。

核心思路：PULSE框架通过结合弱监督学习、自监督学习和知识蒸馏，利用未标记数据和已有模型的知识，提升分类性能和适应性。

技术框架：PULSE框架包括三个主要模块：弱监督物种分类、自监督学习模块和知识蒸馏模块。首先，利用弱监督方法进行物种分类；其次，通过自监督学习从未标记音频中提取特征；最后，利用知识蒸馏从通用模型中获取知识。

关键创新：PULSE框架的创新在于其多任务学习和半监督学习的结合，使得模型能够在缺乏标注数据的情况下仍然有效地进行分类，显著提高了模型的适应性和性能。

关键设计：在模型设计中，采用了特定的损失函数以平衡弱监督和自监督学习的目标，同时在网络结构上进行了优化，以提高特征提取的效率和准确性。实验中还引入了主动学习策略，以进一步提升模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PULSE框架在宏观F1值上达到0.34，AUC值提升至0.84，相较于最先进的通用模型（F1: 0.21，AUC: 0.74）有显著提升。主动学习策略的引入进一步增强了模型的性能，展示了该框架的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括生态监测、生物多样性评估和环境保护等。通过提高声学分类的准确性，PULSE框架能够帮助生态学家更好地理解和保护生态系统，推动生态研究的深入发展。未来，该方法还可能扩展到其他生物声学监测领域，具有广泛的实际价值。

📄 摘要（原文）

Passive acoustic monitoring holds great promise for ecological inference, yet existing automated tools are typically narrowly trained and non-transferable. We address these limitations with PULSE, a semi-supervised, multi-task framework for Orthoptera bioacoustics, combining weakly-supervised species classification, self-supervised learning on unlabelled field audio, and knowledge distillation from a general-purpose bioacoustic model. Our domain-adapted specialist model outperforms a state-of-the-art general model across all metrics (macro F1: 0.21 vs. 0.07; AUC: 0.74 vs. 0.45; AP: 0.32 vs. 0.19), with active learning further raising F1 to 0.34 and AUC to 0.84. Beyond classification, the learned embeddings encode ecologically meaningful structure, exposed through an interactive visualisation tool for ecological discovery.