RSFusionDet: Underwater RGB-Sonar Multimodal Object Detection

📄 arXiv: 2608.25367v1 📥 PDF

作者: Zhuoyan Liu, Yihan Wang, Bo Wang, Bing Wang, Ye Li

分类: cs.CV

发布日期: 2026-08-26

备注: 18 pages, 13 figures, 18 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出RSFusionDet以解决水下多模态物体检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水下物体检测 多模态融合 RGB-声纳 交叉注意力 深度学习 特征融合 物体匹配

📋 核心要点

  1. 现有水下物体检测方法在光学和声纳图像中存在信息互补性，但各自也面临噪声和结构信息不足的挑战。
  2. 本文提出RSFusionDet，通过交叉注意力融合模块和物体匹配机制，有效整合RGB与声纳模态的信息。
  3. 实验结果显示，RSFusionDet在RSFusion数据集上实现了76.4/48.6的AP，较DINO基线提升了0.7/1.4，且提供了可靠的跨模态物体匹配。

📝 摘要（中文）

水下单模态物体检测面临诸多挑战，如光学图像受限于水下噪声和可见距离，而声纳图像则缺乏物体结构信息。本文创建了RGB-声纳多模态物体检测数据集RSFusion，并提出了评估指标。我们提出的RSFusionDet通过设计交叉注意力融合模块（CAFusion）和物体匹配头（OMHead），有效融合RGB与声纳模态信息，实现了76.4/48.6的AP（RGB/声纳）和83.4的F1-Score_{match}，超越了其他检测模型。

🔬 方法详解

问题定义：本文旨在解决水下环境中RGB与声纳图像的多模态物体检测问题。现有方法在处理单一模态时，往往受到噪声和信息不足的限制，导致检测性能不佳。

核心思路：我们提出的RSFusionDet通过融合RGB和声纳模态的互补信息，利用交叉注意力机制来处理空间对齐问题，从而提高物体检测的准确性和鲁棒性。

技术框架：RSFusionDet的整体架构包括数据预处理、特征提取、交叉注意力融合模块（CAFusion）和物体匹配头（OMHead）。其中，CAFusion负责融合不同模态的特征，而OMHead则用于匹配相同物体。

关键创新：本研究的主要创新在于设计了CAFusion模块，能够有效处理RGB与声纳模态之间的空间对齐问题，并引入OMLoss以优化物体匹配过程。这一设计显著提升了跨模态检测的性能。

关键设计：在网络结构上，我们采用了深度卷积神经网络，并在损失函数中引入了OMLoss，以增强物体匹配的准确性。模型的训练过程中，使用了多种数据增强技术，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RSFusionDet在RSFusion数据集上实现了76.4/48.6的AP（RGB/声纳），并达到83.4的F1-Score_{match}，相较于DINO基线，RGB和声纳的AP分别提升了0.7和1.4，展示了其在多模态物体检测中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括水下探测、海洋生物监测和水下机器人导航等。通过提高水下物体检测的准确性，RSFusionDet能够为海洋科学研究和资源探测提供更可靠的技术支持，推动相关领域的发展。

📄 摘要（原文）

Underwater unimodal object detection faces many challenges in sensor imaging, such as optical images limited by underwater noise and visible distance, and sonar images limited by less object structural information. While, optical images have rich object structural information, and sonar images are less affected by underwater noise and have a longer visible distance. Optical (RGB modality) and sonar (Sonar modality) images have complementary information underwater. In this paper, we create an RGB-Sonar multimodal object detection dataset, \textbf{R}GB-\textbf{S}onar \textbf{Fusion} (RSFusion) and propose evaluation metrics for the benchmark. And we propose the \textbf{R}GB-\textbf{S}onar \textbf{Fusion} \textbf{Det}ector (RSFusionDet) with a new RGB-Sonar multimodal object detection result expression for RGB-Sonar multimodal object detection. We analyze the features of RGB and Sonar modal information, and design a Cross-Attention Fusion (CAFusion) module to fuse RGB-Sonar spatial misalignment features and Object Matching Head (OMHead) with Loss (OMLoss) to match identical objects in RGB-Sonar modalities. Our RSFusionDet achieves 76.4/48.6 AP (RGB/Sonar) for object detection and 83.4 (\text{F1-Score}_{match}) for object matching, on RSFusion, which outperforms other object detection models. Compared with the DINO baseline, our method improves by 0.7/1.4 AP (RGB/Sonar) while simultaneously providing reliable cross-modal object matching. The code and datasets are publicly available at https://github.com/LEFTeyex/RSFusionDet.