uScenes: A Multimodal RGB and 3D Sonar Dataset for Underwater Robot Perception

📄 arXiv: 2608.27795v1 📥 PDF

作者: Trung Tien Dong, Zhenqi Wu, Aditya Penumarti, Zi-Hao Zhang, Micaiah Bartlett, Jane Shin, Xiaomin Lin

分类: cs.CV

发布日期: 2026-08-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出uScenes数据集以解决水下机器人感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水下机器人 多模态融合 声纳数据集 三维场景理解 自主导航

📋 核心要点

  1. 现有的水下感知方法在低光照和回波干扰条件下表现不佳，限制了自主机器人的应用。
  2. uScenes数据集通过提供同步的3D声纳点云和RGB图像，解决了声纳返回模糊性的问题，促进了多模态融合。
  3. 该数据集包含丰富的场景和观测数据，为后续的研究提供了基础，推动了水下机器人感知技术的发展。

📝 摘要（中文）

可靠的感知对于自主水下机器人的部署至关重要。然而，在光照不足和回波干扰的情况下，光学相机的可靠性降低。虽然前视（2D）声学传感器在这些条件下仍然有效，但它们仅测量距离和方位，无法解决高度问题，从而导致三维空间中声纳返回的模糊性。这使得使用传感器进行三维场景理解和精确物体检测变得复杂。我们介绍了uScenes，这是一个多模态水下数据集，包含同步的3D多波束声纳点云和RGB图像。该数据集包含110个场景和95,834个同步观测，代表了在多个实地会话中收集的277.6分钟数据。uScenes为水下传感器融合、跨模态表示学习和三维场景理解奠定了基础。

🔬 方法详解

问题定义：本论文旨在解决水下机器人在低光照和回波干扰环境下的感知问题。现有方法依赖于光学相机和2D声学传感器，导致三维空间中的声纳返回模糊性，影响物体检测和场景理解的准确性。

核心思路：论文提出了uScenes数据集，结合了3D多波束声纳点云和RGB图像，通过多模态数据的融合，解决了声纳返回的模糊性问题，从而提升了水下场景理解的能力。

技术框架：uScenes数据集的构建包括数据采集、同步处理和数据标注三个主要阶段。首先在多个水下场景中收集数据，然后对声纳和RGB图像进行时间同步，最后进行数据标注以确保数据的准确性和可用性。

关键创新：uScenes数据集的最大创新在于其多模态特性，首次将3D声纳点云与RGB图像同步结合，为水下感知提供了新的视角和数据支持。这一创新使得研究者能够更好地理解和分析水下环境。

关键设计：在数据采集过程中，采用了高精度的多波束声纳系统和高分辨率的RGB相机，确保了数据的质量。同时，数据同步采用了高精度的时间戳记录，保证了不同模态数据的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

uScenes数据集包含110个场景和95,834个同步观测，提供了277.6分钟的丰富数据。该数据集的推出为水下感知研究提供了新的基准，促进了多模态融合技术的发展，预计将显著提升水下机器人在复杂环境中的表现。

🎯 应用场景

uScenes数据集的潜在应用领域包括水下机器人导航、环境监测和海洋生物研究等。通过提高水下感知的准确性，该研究能够推动自主水下机器人在复杂环境中的应用，具有重要的实际价值和未来影响。

📄 摘要（原文）

Robust perception is essential for the deployment of autonomous underwater robots. However, optical cameras become unreliable under poor illumination and backscatter. Forward looking (2D) acoustic sensors remain effective under these conditions, but they measure range and bearing while leaving elevation unresolved, creating an ambiguity that prevents individual sonar returns from being localized in three dimensional (3D) space. This complicates the sensor use for 3D scene understanding and precise object detection. We introduce \textbf{uScenes}, a multimodal underwater dataset containing synchronized 3D multibeam sonar point clouds and RGB imagery. The dataset contains 110 scenes and 95,834 synchronized observation, representing 277.6 minutes of data collected across multiple field sessions. uScenes establishes a foundation for underwater sensor fusion, cross modal representation learning and 3D scene understanding. Code and datasets are given at https://github.com/era-research-lab/uScenes.