SonarLLM: A Native Sonar--Optical Multimodal Large Language Model for Underwater Perception

📄 arXiv: 2608.24325v1 📥 PDF

作者: Cong Su, longxuan ma, Ling Dong, Guofeng Tang, Weijie Yin, Haohui Chen, Zhengtao Yu

分类: cs.AI

发布日期: 2026-08-25

💡 一句话要点

提出SonarLLM以解决水下感知中的多模态融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水下感知 多模态融合 声纳技术 视觉问答 深度学习

📋 核心要点

  1. 现有多模态大语言模型主要基于光学数据，难以有效利用声纳信息，导致水下感知能力不足。
  2. 本文提出SonarLLM，将声纳作为原生感知模态，结合声纳特定编码器和物理感知特征增强，实现声纳与光学的动态融合。
  3. SonarLLM在声纳识别、计数和视觉问答任务中取得72.0%的宏观准确率，显著超越基线，验证了声纳在浑浊环境中的互补价值。

📝 摘要（中文）

可靠的水下感知需要在可变能见度下进行互补感知。光学相机在浑浊条件下性能迅速下降，而成像声纳则能保持几何信息。现有的多模态大语言模型主要基于光学编码器，难以有效建模声纳或利用声纳与光学的互补性。本文提出SonarLLM，将声纳视为原生感知模态，结合声纳特定编码器、物理感知特征增强和可靠性分层融合，动态调整声纳与光学的贡献。我们还引入SonarBench基准，涵盖识别、计数、视觉问答和描述等四个任务，提供声纳、光学和融合三种输入设置。SonarLLM在声纳识别、计数和视觉问答任务中实现72.0%的宏观准确率，超越最强基线34.4个百分点，显示出声纳在光学退化条件下的互补价值。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在水下感知中对声纳信息建模不足的问题。现有方法主要依赖光学数据，无法有效应对浑浊环境下的感知挑战。

核心思路：SonarLLM将声纳视为一种原生感知模态，通过声纳特定编码器和物理感知特征增强，动态调整声纳与光学的贡献，以提高水下感知的可靠性和准确性。

技术框架：SonarLLM的整体架构包括声纳特定编码器、物理感知特征增强模块和可靠性分层融合模块。通过这些模块，模型能够有效对齐声纳的声学结构与光学语义。

关键创新：SonarLLM的主要创新在于将声纳作为原生模态进行处理，并通过动态调整声纳与光学的贡献，克服了传统方法的局限性。

关键设计：在模型设计中，采用了特定的损失函数来优化声纳与光学特征的融合，同时在网络结构上引入了物理感知特征增强，以提升模型在不同能见度条件下的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SonarLLM在声纳识别、计数和视觉问答任务中实现72.0%的宏观准确率，超越最强基线34.4个百分点。在融合任务中，模型表现出68.7%的准确率，超越最佳基线25.1个百分点，显示出声纳在光学退化条件下的显著互补价值。

🎯 应用场景

SonarLLM的研究成果在水下机器人、海洋探测、环境监测等领域具有广泛的应用潜力。通过提高水下感知的准确性和可靠性，该模型能够支持更复杂的水下任务，如海洋生物监测、沉船探测等，推动相关技术的发展与应用。

📄 摘要（原文）

Reliable underwater perception requires complementary sensing under variable visibility. Optical cameras capture appearance and semantics but degrade rapidly with turbidity, whereas imaging sonar preserves geometry while exhibiting distinct range-azimuth structure and acoustic artifacts. Existing MLLMs, built primarily on optical encoders, are therefore ill-suited to model sonar or adaptively exploit sonar-optical complementarity. We propose SonarLLM, a sonar-optical MLLM that treats sonar as a native perceptual modality. It combines a sonar-specific encoder, modality-specific physics-aware feature enhancement, and reliability-aware hierarchical fusion to align acoustic structure with optical semantics and dynamically adjust their contributions as sensing quality changes. We also introduce SonarBench, a paired benchmark that spans four tasks: recognition, counting, visual question answering, and captioning; and, across the benchmark, three input settings: sonar-only, optical-only, and fusion. By fixing the scene and sonar observation while varying optical degradation, SonarBench enables controlled measurement of cross-modal complementarity. SonarLLM achieves 72.0% macro accuracy across sonar-only recognition, counting, and VQA, outperforming the strongest baseline by 34.4 percentage points, and 68.7% under fusion, exceeding the best baseline by 25.1 points. For recognition and counting, the fusion-over-optical gain grows from 6.0 to 36.0 points as turbidity increases, indicating the increasing complementary value of sonar under controlled optical degradation. Together, these results show that robust heterogeneous perception depends not only on adding sonar, but on representing and weighting it according to its sensing characteristics.