Dual Mean-Teacher: An Unbiased Semi-Supervised Framework for Audio-Visual Source Localization

📄 arXiv: 2403.03145v1 📥 PDF

作者: Yuxin Guo, Shijie Ma, Hu Su, Zhiqing Wang, Yuhao Zhao, Wei Zou, Siyang Sun, Yun Zheng

分类: cs.CV, cs.LG, cs.MM, cs.SD, eess.AS

发布日期: 2024-03-05

备注: Accepted to NeurIPS2023

💡 一句话要点

提出双均值教师框架以解决音视频源定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 音视频源定位 半监督学习 多模态学习 伪标签生成 确认偏差 对比学习 鲁棒性

📋 核心要点

  1. 现有音视频源定位方法在缺乏边界框注释的情况下，难以实现精确定位，尤其是小物体的定位效果较差。
  2. 本文提出的双均值教师框架通过两个教师模型的共识来过滤噪声样本，并生成高质量的伪标签，从而提升定位精度。
  3. 实验结果显示，DMT在多个数据集上显著提升了定位性能，尤其是在仅使用3%位置注释的情况下，表现出色。

📝 摘要（中文）

音视频源定位（AVSL）旨在根据配对的音频片段定位视频帧中的发声物体。现有方法主要依赖自监督对比学习音视频对应关系，缺乏边界框注释，导致小物体定位不精确，边界模糊且存在误报。此外，简单的半监督方法未能充分利用大量未标注数据。本文提出了一种新颖的半监督学习框架——双均值教师（DMT），通过两个教师-学生结构来规避确认偏差问题。具体而言，两个在有限标注数据上预训练的教师通过预测共识过滤噪声样本，并通过交叉置信图生成高质量伪标签。充分利用标注和未标注数据的能力使DMT在Flickr-SoundNet和VGG-Sound Source上分别达到90.4%和48.8%的CIoU，相较于自监督和半监督方法分别提升8.9%、9.6%和4.6%、6.4%。

🔬 方法详解

问题定义：本文旨在解决音视频源定位中的精确定位问题，现有方法在缺乏边界框注释时，难以准确定位小物体，且存在模糊边界和误报现象。

核心思路：提出双均值教师（DMT）框架，通过两个教师模型的共识来过滤噪声样本，并生成高质量的伪标签，从而充分利用标注和未标注数据。

技术框架：DMT框架包含两个教师模型和一个学生模型。教师模型在有限的标注数据上预训练，通过对其预测结果进行共识，过滤掉不可靠的样本，生成伪标签供学生模型学习。

关键创新：DMT的核心创新在于通过两个教师模型的共识机制来减少确认偏差，提升伪标签的质量，与现有方法相比，能够更有效地利用未标注数据。

关键设计：在模型设计上，采用了交叉置信图生成伪标签，损失函数设计上考虑了伪标签的质量，确保学生模型能够从中学习到更准确的信息。整体架构的设计使得模型在处理噪声样本时更加鲁棒。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DMT在Flickr-SoundNet和VGG-Sound Source数据集上分别达到了90.4%和48.8%的CIoU，相较于自监督和半监督方法分别提升了8.9%、9.6%和4.6%、6.4%，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用场景包括智能监控、自动驾驶、增强现实等领域，能够有效提升音视频源定位的精度和可靠性。未来，随着数据集和算法的不断完善，该框架有望在更广泛的多模态学习任务中发挥重要作用。

📄 摘要（原文）

Audio-Visual Source Localization (AVSL) aims to locate sounding objects within video frames given the paired audio clips. Existing methods predominantly rely on self-supervised contrastive learning of audio-visual correspondence. Without any bounding-box annotations, they struggle to achieve precise localization, especially for small objects, and suffer from blurry boundaries and false positives. Moreover, the naive semi-supervised method is poor in fully leveraging the information of abundant unlabeled data. In this paper, we propose a novel semi-supervised learning framework for AVSL, namely Dual Mean-Teacher (DMT), comprising two teacher-student structures to circumvent the confirmation bias issue. Specifically, two teachers, pre-trained on limited labeled data, are employed to filter out noisy samples via the consensus between their predictions, and then generate high-quality pseudo-labels by intersecting their confidence maps. The sufficient utilization of both labeled and unlabeled data and the proposed unbiased framework enable DMT to outperform current state-of-the-art methods by a large margin, with CIoU of 90.4% and 48.8% on Flickr-SoundNet and VGG-Sound Source, obtaining 8.9%, 9.6% and 4.6%, 6.4% improvements over self- and semi-supervised methods respectively, given only 3% positional-annotations. We also extend our framework to some existing AVSL methods and consistently boost their performance.