Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video

📄 arXiv: 2512.12165v2 📥 PDF

作者: Daniel Adebi, Sagnik Majumder, Kristen Grauman

分类: cs.CV

发布日期: 2025-12-13 (更新: 2025-12-16)

💡 一句话要点

提出一种音视频融合的相机位姿估计方法，利用场景声音增强视觉信息，提升野外视频的鲁棒性。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 相机位姿估计 音视频融合 场景声音 方向估计 鲁棒性 多模态学习 机器人感知

📋 核心要点

  1. 视觉方法在相机位姿估计中面临视觉退化的挑战，如运动模糊和遮挡。
  2. 利用场景中的被动声音，通过声源方向和双耳嵌入，辅助视觉信息进行位姿估计。
  3. 实验表明，该方法在视觉信息受损时，仍能保持较好的鲁棒性，优于纯视觉方法。

📝 摘要（中文）

本文提出了一种利用被动场景声音进行相机位姿估计的音视频融合框架，旨在解决视觉方法在运动模糊或遮挡等视觉退化条件下表现不佳的问题。该框架将声源方向（DOA）谱和双耳嵌入整合到先进的纯视觉位姿估计模型中。在两个大型数据集上的实验结果表明，该方法在强视觉基线之上实现了持续的性能提升，并且在视觉信息受损时表现出更强的鲁棒性。据我们所知，这是首次成功利用音频进行真实世界视频中相对相机位姿估计的研究，证明了偶然的日常音频可以作为解决经典空间挑战的一种意想不到但有前景的信号。

🔬 方法详解

问题定义：论文旨在解决在视觉信息不足或受损的情况下，相机位姿估计的鲁棒性问题。现有的视觉方法在运动模糊、遮挡等情况下性能会显著下降，限制了其在真实世界场景中的应用。

核心思路：论文的核心思路是利用场景中自然存在的音频信息作为视觉信息的补充。声音不受视觉遮挡的影响，并且能够提供关于场景几何和相机运动的线索。通过融合音频和视觉信息，可以提高位姿估计的准确性和鲁棒性。

技术框架：该音视频融合框架主要包含以下几个模块：1) 视觉位姿估计模块：使用现有的先进视觉位姿估计模型作为基线。2) 音频特征提取模块：从音频信号中提取声源方向（DOA）谱和双耳嵌入特征。3) 特征融合模块：将音频和视觉特征进行融合，例如通过拼接或注意力机制。4) 位姿回归模块：利用融合后的特征回归相机位姿。

关键创新：该研究的关键创新在于首次成功地将音频信息应用于真实世界视频中的相对相机位姿估计。以往的研究主要集中在视觉方法上，而该研究证明了音频作为一种补充信号的有效性。此外，该研究还提出了一种简单有效的音视频融合框架，可以方便地集成到现有的视觉位姿估计模型中。

关键设计：音频特征提取方面，使用了声源方向（DOA）谱和双耳嵌入，这两种特征能够捕捉声音的空间信息和听觉感知信息。在特征融合方面，具体的设计细节（如拼接方式、注意力机制等）未在摘要中详细说明，属于未知信息。损失函数方面，可能使用了位姿回归常用的均方误差损失或Huber损失。

📊 实验亮点

该研究在两个大型数据集上进行了实验，结果表明，所提出的音视频融合方法在强视觉基线之上实现了持续的性能提升。更重要的是，该方法在视觉信息受损时表现出更强的鲁棒性，证明了音频信息作为视觉补充的有效性。具体的性能提升幅度未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于机器人导航、增强现实、虚拟现实、自动驾驶等领域。通过融合音频信息，可以提高这些系统在复杂环境下的感知能力和鲁棒性。例如，在机器人导航中，即使视觉传感器受到遮挡，机器人仍然可以利用声音信息进行定位和导航。在AR/VR中，可以提供更稳定和沉浸式的体验。

📄 摘要（原文）

Understanding camera motion is a fundamental problem in embodied perception and 3D scene understanding. While visual methods have advanced rapidly, they often struggle under visually degraded conditions such as motion blur or occlusions. In this work, we show that passive scene sounds provide complementary cues for relative camera pose estimation for in-the-wild videos. We introduce a simple but effective audio-visual framework that integrates direction-ofarrival (DOA) spectra and binauralized embeddings into a state-of-the-art vision-only pose estimation model. Our results on two large datasets show consistent gains over strong visual baselines, plus robustness when the visual information is corrupted. To our knowledge, this represents the first work to successfully leverage audio for relative camera pose estimation in real-world videos, and it establishes incidental, everyday audio as an unexpected but promising signal for a classic spatial challenge. Project: http://vision.cs.utexas.edu/projects/av_camera_pose.