Unsupervised Audio-Visual Segmentation with Modality Alignment

📄 arXiv: 2403.14203v1 📥 PDF

作者: Swapnil Bhosale, Haosen Yang, Diptesh Kanojia, Jiangkang Deng, Xiatian Zhu

分类: cs.CV, cs.AI

发布日期: 2024-03-21

💡 一句话要点

提出无监督音视频分割方法以解决昂贵标注问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音视频分割 无监督学习 多模态融合 特征对比 深度学习

📋 核心要点

  1. 现有的音视频分割方法依赖于昂贵的细粒度标注，限制了其在大规模应用中的可行性。
  2. 本文提出了一种无监督学习方法MoCA，通过整合多个基础模型，优化多模态之间的关联。
  3. 实验结果显示，MoCA在AVSBench和AVSS数据集上显著提升了分割性能，尤其在复杂场景中表现突出。

📝 摘要（中文）

音视频分割（AVS）旨在在视觉场景中识别产生特定声音的对象，现有方法依赖于昂贵的掩码-音频对的细粒度标注，限制了其可扩展性。为此，本文提出了一种无监督的AVS方法，消除了对昂贵标注的需求。我们提出的无监督学习方法称为模态对应对齐（MoCA），它无缝整合了现成的基础模型，如DINO、SAM和ImageBind，利用它们的知识互补性，优化多模态关联的联合使用。通过在特征空间中估计正负图像对，并引入音视频适配器和新颖的像素匹配聚合策略，我们实现了像素级的关联。大量实验表明，MoCA在复杂场景中表现优异，尤其在多个听觉对象的情况下，显著超越了设计良好的基线方法。

🔬 方法详解

问题定义：本文解决的是音视频分割中的无监督学习问题，现有方法依赖于昂贵的掩码-音频对标注，限制了其可扩展性。

核心思路：我们提出的MoCA方法通过整合现成的基础模型，利用它们的知识互补性来实现多模态的关联，避免了对昂贵标注的需求。

技术框架：MoCA的整体架构包括特征空间中的正负图像对估计、音视频适配器的引入，以及在图像级对比学习框架内的新像素匹配聚合策略。

关键创新：MoCA的核心创新在于通过音视频适配器实现像素级的关联，同时引入了容忍图像变换（如平移和旋转）的聚合策略，这与现有方法的设计有本质区别。

关键设计：在模型设计中，我们设置了特定的损失函数以优化多模态关联，并采用了灵活的网络结构以适应不同的音频和视觉输入。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在AVSBench和AVSS数据集上，MoCA在音视频分割任务中表现优异，尤其在复杂场景中，mIoU指标在AVSBench上提升了17.24%（S4）和67.64%（MS3），在AVSS上提升了19.23%，显著超越了现有基线方法。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、机器人感知等，能够在无需昂贵标注的情况下，实现对复杂场景中音视频信息的有效分割。这将极大地推动多模态学习和理解的研究进展，并在实际应用中提高系统的智能化水平。

📄 摘要（原文）

Audio-Visual Segmentation (AVS) aims to identify, at the pixel level, the object in a visual scene that produces a given sound. Current AVS methods rely on costly fine-grained annotations of mask-audio pairs, making them impractical for scalability. To address this, we introduce unsupervised AVS, eliminating the need for such expensive annotation. To tackle this more challenging problem, we propose an unsupervised learning method, named Modality Correspondence Alignment (MoCA), which seamlessly integrates off-the-shelf foundation models like DINO, SAM, and ImageBind. This approach leverages their knowledge complementarity and optimizes their joint usage for multi-modality association. Initially, we estimate positive and negative image pairs in the feature space. For pixel-level association, we introduce an audio-visual adapter and a novel pixel matching aggregation strategy within the image-level contrastive learning framework. This allows for a flexible connection between object appearance and audio signal at the pixel level, with tolerance to imaging variations such as translation and rotation. Extensive experiments on the AVSBench (single and multi-object splits) and AVSS datasets demonstrate that our MoCA outperforms strongly designed baseline methods and approaches supervised counterparts, particularly in complex scenarios with multiple auditory objects. Notably when comparing mIoU, MoCA achieves a substantial improvement over baselines in both the AVSBench (S4: +17.24%; MS3: +67.64%) and AVSS (+19.23%) audio-visual segmentation challenges.