WaterVG: Waterway Visual Grounding based on Text-Guided Vision and mmWave Radar

📄 arXiv: 2403.12686v3 📥 PDF

作者: Runwei Guan, Liye Jia, Fengyufan Yang, Shanliang Yao, Erick Purwanto, Xiaohui Zhu, Eng Gee Lim, Jeremy Smith, Ka Lok Man, Xuming Hu, Yutao Yue

分类: cs.CV, cs.MM, cs.RO

发布日期: 2024-03-19 (更新: 2024-04-05)

备注: 10 pages, 10 figures

💡 一句话要点

提出WaterVG以解决无人水面车辆水道感知问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 水道感知 无人水面车辆 视觉定位 多模态融合 毫米波雷达 低功耗模型 自适应加权 交叉注意力

📋 核心要点

  1. 现有方法在无人水面车辆的水道感知中缺乏有效的多模态融合，难以准确理解人类意图。
  2. 论文提出WaterVG数据集和Potamoi模型，通过结合视觉和毫米波雷达特征，提升水道感知的准确性和效率。
  3. 实验结果表明，Potamoi在视觉定位任务上达到了最先进的性能，相较于其他方法有显著提升。

📝 摘要（中文）

基于人类意图的水道感知对无人水面车辆（USVs）的自主导航和操作至关重要。受视觉定位启发，我们提出了WaterVG，这是第一个针对USV水道感知的视觉定位数据集，包含11,568个样本和34,987个目标，结合了视觉和毫米波雷达特征。我们还提出了一种低功耗视觉定位模型Potamoi，采用了分阶段异构模态融合（PHMF）模式，具有自适应雷达加权（ARW）和多头精简交叉注意力（MHSCA）模块，显著提高了视觉定位任务的性能。

🔬 方法详解

问题定义：本论文旨在解决无人水面车辆在水道感知中对人类意图的理解不足，现有方法在多模态信息融合方面存在挑战，导致感知精度不高。

核心思路：提出WaterVG数据集，结合视觉和毫米波雷达特征，设计Potamoi模型，通过分阶段异构模态融合（PHMF）实现高效的多模态信息处理。

技术框架：Potamoi模型包括自适应雷达加权（ARW）和多头精简交叉注意力（MHSCA）模块，ARW用于提取雷达特征并与视觉信息对齐，MHSCA则高效融合场景上下文与语言特征。

关键创新：最重要的创新在于PHMF模式的设计，ARW和MHSCA模块的结合使得模型在参数量和计算量上都保持较小，同时提升了视觉定位的表现。

关键设计：ARW模块通过自适应方式选择必要的雷达特征，MHSCA模块则通过多头注意力机制实现高效的信息融合，整体设计注重低功耗和高效能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Potamoi模型在视觉定位任务上达到了最先进的性能，相较于基线方法，性能提升幅度显著，具体数据未提供，但表明其在多模态融合方面的优势。

🎯 应用场景

该研究的潜在应用领域包括无人水面车辆的自主导航、环境监测和水域管理等。通过提升水道感知能力，能够有效支持水上作业的安全性和效率，未来可能在智能交通和海洋探测等领域产生深远影响。

📄 摘要（原文）

The perception of waterways based on human intent is significant for autonomous navigation and operations of Unmanned Surface Vehicles (USVs) in water environments. Inspired by visual grounding, we introduce WaterVG, the first visual grounding dataset designed for USV-based waterway perception based on human prompts. WaterVG encompasses prompts describing multiple targets, with annotations at the instance level including bounding boxes and masks. Notably, WaterVG includes 11,568 samples with 34,987 referred targets, whose prompts integrates both visual and radar characteristics. The pattern of text-guided two sensors equips a finer granularity of text prompts with visual and radar features of referred targets. Moreover, we propose a low-power visual grounding model, Potamoi, which is a multi-task model with a well-designed Phased Heterogeneous Modality Fusion (PHMF) mode, including Adaptive Radar Weighting (ARW) and Multi-Head Slim Cross Attention (MHSCA). Exactly, ARW extracts required radar features to fuse with vision for prompt alignment. MHSCA is an efficient fusion module with a remarkably small parameter count and FLOPs, elegantly fusing scenario context captured by two sensors with linguistic features, which performs expressively on visual grounding tasks. Comprehensive experiments and evaluations have been conducted on WaterVG, where our Potamoi archives state-of-the-art performances compared with counterparts.