Decoding Insect Song: A Multitask Semisupervised Orthoptera Bioacoustic Classifier

📄 arXiv: 2606.13236v1 📥 PDF

作者: Olga Isupova, Danil Kuzin, Ella Browning, Tom Mills, Steven Reece

分类: cs.LG, cs.AI, cs.SD, stat.AP

发布日期: 2026-06-11

备注: ICML 2026 Workshop on Machine Learning for Audio

💡 一句话要点

提出PULSE框架以解决生态声学分类的局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 生态声学 半监督学习 知识蒸馏 多任务学习 生物多样性

📋 核心要点

  1. 现有的生态声学分类工具通常训练不足，无法有效迁移到新环境，限制了其应用。
  2. 本文提出的PULSE框架结合了弱监督分类、自监督学习和知识蒸馏，旨在提高分类的准确性和适应性。
  3. 实验结果表明，PULSE在多个指标上显著优于现有模型，尤其在F1和AUC值上有显著提升。

📝 摘要（中文）

被动声学监测在生态推断中具有巨大潜力，但现有的自动化工具通常训练范围狭窄且不可迁移。为了解决这些局限性，本文提出了PULSE，一个半监督的多任务框架，专注于直翅目生物声学。该框架结合了弱监督的物种分类、对未标记现场音频的自监督学习以及从通用生物声学模型中进行的知识蒸馏。经过领域适应的专用模型在所有指标上超越了最先进的通用模型，F1值从0.07提升至0.21，AUC从0.45提升至0.74，AP从0.19提升至0.32。通过主动学习，F1值进一步提高至0.34，AUC达到0.84。此外，学习到的嵌入编码了生态上有意义的结构，并通过交互式可视化工具促进生态发现。

🔬 方法详解

问题定义：本文旨在解决现有生态声学分类工具训练不足和不可迁移的问题，这限制了其在不同生态环境中的应用效果。

核心思路：PULSE框架通过结合弱监督学习、自监督学习和知识蒸馏，旨在提高模型的分类能力和适应性，能够处理未标记数据并从中学习。

技术框架：PULSE框架包括三个主要模块：1) 弱监督物种分类，2) 自监督学习用于未标记音频，3) 知识蒸馏从通用生物声学模型中提取知识。整体流程通过这些模块的协同作用，提升了模型的性能。

关键创新：PULSE的创新在于其半监督多任务学习的设计，使得模型能够在缺乏标记数据的情况下仍然有效学习，并且通过知识蒸馏增强了模型的泛化能力。

关键设计：在模型设计中，采用了特定的损失函数来平衡不同任务的学习，使用了深度神经网络结构以提取音频特征，并通过主动学习策略进一步优化模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PULSE框架在宏观F1值上达到了0.21，相较于最先进的通用模型提升了0.14；AUC值从0.45提升至0.74，主动学习后进一步提高至0.84，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括生态监测、生物多样性评估和环境保护等。通过提高声学分类的准确性，PULSE框架能够帮助生态学家更好地理解和保护生态系统，具有重要的实际价值和未来影响。

📄 摘要（原文）

Passive acoustic monitoring holds great promise for ecological inference, yet existing automated tools are typically narrowly trained and non-transferable. We address these limitations with PULSE, a semi-supervised, multi-task framework for Orthoptera bioacoustics, combining weakly-supervised species classification, self-supervised learning on unlabelled field audio, and knowledge distillation from a general-purpose bioacoustic model. Our domain-adapted specialist model outperforms a state-of-the-art general model across all metrics (macro F1: 0.21 vs. 0.07; AUC: 0.74 vs. 0.45; AP: 0.32 vs. 0.19), with active learning further raising F1 to 0.34 and AUC to 0.84. Beyond classification, the learned embeddings encode ecologically meaningful structure, exposed through an interactive visualisation tool for ecological discovery.