Clink! Chop! Thud! -- Learning Object Sounds from Real-World Interactions
作者: Mengyu Yang, Yiming Chen, Haozheng Pei, Siddhant Agarwal, Arun Balajee Vasudevan, James Hays
分类: cs.CV
发布日期: 2025-10-02
备注: ICCV 2025. Project page: https://clink-chop-thud.github.io/
💡 一句话要点
提出基于真实世界交互学习物体声音的检测框架，解决声音与物体的关联问题。
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 发声物体检测 多模态学习 物体分割 Slot Attention 声音识别 视频理解 机器人听觉
📋 核心要点
- 现有方法难以区分细微的物体交互声音，例如勺子敲击不同材质地面产生的声音差异。
- 论文提出多模态物体感知框架，利用物体分割掩码和Slot Attention机制，引导模型关注关键物体区域。
- 实验表明，该方法在发声物体检测任务和多模态动作理解任务上均达到最佳性能。
📝 摘要（中文）
本文提出了一种新的任务：发声物体检测，旨在评估模型将声音与其直接相关的物体联系起来的能力。受人类感知的启发，该多模态、物体感知的框架从真实场景的以自我为中心的视频中学习。为了鼓励以物体为中心的方法，首先开发了一个自动流程来计算所涉及物体的分割掩码，以引导模型在训练期间关注交互中最具信息的区域。使用Slot Attention视觉编码器进一步加强物体先验。实验表明，该方法在新任务以及现有的多模态动作理解任务上都取得了最先进的性能。
🔬 方法详解
问题定义：论文旨在解决发声物体检测问题，即识别视频中发出特定声音的物体。现有方法在处理真实世界复杂场景，特别是区分相似物体或细微声音差异时表现不足，缺乏对物体本身信息的有效利用。
核心思路：论文的核心思路是利用多模态信息（视觉和听觉）以及物体分割信息，引导模型学习声音和物体之间的关联。通过关注视频中与声音产生直接相关的物体，提高模型对声音来源的定位能力。
技术框架：整体框架包含以下几个主要模块：1) 自动物体分割流程，用于生成视频中物体的分割掩码；2) Slot Attention视觉编码器，用于提取物体级别的视觉特征；3) 音频编码器，用于提取音频特征；4) 多模态融合模块，将视觉和听觉特征进行融合；5) 发声物体检测模块，预测与声音相关的物体。
关键创新：论文的关键创新在于：1) 提出了发声物体检测这一新任务；2) 利用自动物体分割流程和Slot Attention机制，显式地引入了物体先验，引导模型关注关键物体区域；3) 提出了一个多模态、物体感知的学习框架，能够有效地学习声音和物体之间的关联。
关键设计：在视觉编码器中，使用了Slot Attention机制来提取物体级别的视觉特征，每个Slot对应一个潜在的物体。损失函数包括发声物体检测损失和辅助损失，用于提高物体分割的准确性。具体的网络结构和参数设置在论文中有详细描述。
📊 实验亮点
论文在提出的发声物体检测任务上取得了state-of-the-art的性能。此外，该方法在现有的多模态动作理解任务上也取得了显著的提升，表明其具有良好的泛化能力。具体的性能数据和对比基线在论文的实验部分有详细展示。
🎯 应用场景
该研究成果可应用于机器人听觉感知、智能家居、视频监控等领域。例如，机器人可以通过识别物体发出的声音来理解环境，并与物体进行交互。智能家居系统可以根据声音识别用户行为，并提供个性化服务。视频监控系统可以利用声音来检测异常事件，例如玻璃破碎或枪声。
📄 摘要（原文）
Can a model distinguish between the sound of a spoon hitting a hardwood floor versus a carpeted one? Everyday object interactions produce sounds unique to the objects involved. We introduce the sounding object detection task to evaluate a model's ability to link these sounds to the objects directly involved. Inspired by human perception, our multimodal object-aware framework learns from in-the-wild egocentric videos. To encourage an object-centric approach, we first develop an automatic pipeline to compute segmentation masks of the objects involved to guide the model's focus during training towards the most informative regions of the interaction. A slot attention visual encoder is used to further enforce an object prior. We demonstrate state of the art performance on our new task along with existing multimodal action understanding tasks.