Semi-Supervised Sound Event Detection with Conditional Mixup and Embedding-Level Contrastive Loss

📄 arXiv: 2606.29901v1 📥 PDF

作者: Nian Shao, Xian Li, Xiaofei Li

分类: eess.AS, cs.AI

发布日期: 2026-06-29

备注: 6 pages; accepted by SMC 2026

💡 一句话要点

提出条件混合与嵌入级对比损失以解决声事件检测数据稀缺问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 声事件检测 半监督学习 对比损失 音频处理 深度学习

📋 核心要点

  1. 声事件检测的性能受限于标注数据的稀缺，现有方法在微调时面临挑战。
  2. 提出条件混合的方法，将组合混合与扰动混合结合，以更好地利用未标注数据。
  3. 在DESED验证集上，模型达到了0.645的PSDS1和0.822的PSDS2，显著提升了检测性能。

📝 摘要（中文）

声事件检测（SED）是声学环境分析的核心模块，但其性能常受限于标注数据的稀缺。近期的系统利用大型预训练音频基础模型，但有效的微调仍然具有挑战性，因为标注数据有限而未标注数据丰富。本文在ATST-SED的基础上，通过引入嵌入级自监督对比损失，进一步改进了伪标签半监督微调框架。这种对比目标在微调过程中更好地利用了未标注数据。为了解决伪标签学习与对比学习中混合使用的不同角色，提出了条件混合，将组合混合与扰动混合结合在一个半监督框架中，并定义了相应的嵌入级对比损失。最终模型在DESED验证集上达到了0.645的PSDS1和0.822的PSDS2，建立了新的最优状态。

🔬 方法详解

问题定义：本文旨在解决声事件检测中由于标注数据稀缺导致的性能限制问题。现有方法如ATST-SED虽然引入了伪标签，但在微调过程中未能充分利用丰富的未标注数据。

核心思路：论文提出的条件混合方法结合了组合混合与扰动混合，旨在通过嵌入级对比损失更有效地利用未标注数据，从而提升模型的微调效果。

技术框架：整体框架包括伪标签学习和对比学习两个主要模块。伪标签学习使用组合混合来生成伪标签，而对比学习则通过扰动混合来增强模型的鲁棒性。

关键创新：最重要的创新在于条件混合的提出，它有效地解决了伪标签学习与对比学习之间的角色不匹配问题，提升了模型在半监督学习中的表现。

关键设计：在损失函数设计上，定义了嵌入级对比损失，并在网络结构中引入了条件混合机制，以确保在不同学习目标下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的模型在DESED验证集上达到了0.645的PSDS1和0.822的PSDS2，较基线方法有显著提升，确立了新的最优状态，展示了条件混合方法在声事件检测中的有效性。

🎯 应用场景

该研究在声学环境分析、智能监控、自动化音频标注等领域具有广泛的应用潜力。通过提高声事件检测的准确性，可以为环境监测、城市安全和人机交互等提供更为精准的技术支持，推动相关领域的发展。

📄 摘要（原文）

Sound event detection (SED) is a core module for acoustic environmental analysis, yet its performance is often limited by scarce labeled data. Recent systems leverage large pretrained audio foundation models, but effective fine-tuning remains challenging because labeled data are limited while unlabeled data are abundant. A previous work, ATST-SED, addressed this problem with a pseudo-label based semi-supervised fine-tuning framework. In this work, we further improve the framework by adopting an embedding-level self-supervised contrastive loss inspired by ATST-Frame pretraining. This contrastive objective better exploits unlabeled data during fine-tuning. One challenge is that mixup serves different roles in the two objectives: pseudo-label learning uses composition mixup, while contrastive learning treats mixup as a perturbation. To resolve this mismatch, we propose conditional mixup, which combines composition mixup and perturbation mixup in one semi-supervised framework and defines the corresponding embedding-level contrastive losses. The resulting model achieves 0.645 PSDS1 and 0.822 PSDS2 on the DESED validation set, establishing a new state of the art.