CoordRefer: Coordinate-Aware 3D Visual Grounding from Multiview Images

📄 arXiv: 2608.05569v1 📥 PDF

作者: Haijie Li, Jiaxin Zhang, Dave Zhenyu Chen, Youyu Chen, Yanmin Wu, Jian Zhang

分类: cs.CV

发布日期: 2026-08-06

💡 一句话要点

提出CoordRefer以解决3D视觉定位中的坐标框架选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 多视图图像 坐标框架选择 边界框回归 深度学习

📋 核心要点

  1. 现有方法在坐标框架选择与边界框回归的联合优化中存在坐标相关的边界框模糊性，导致定位性能下降。
  2. 本文提出CoordRefer框架，解耦坐标框架选择与坐标条件下的边界框回归，以提高定位精度。
  3. 在ScanRefer数据集上，CoordRefer在Acc@0.25和Acc@0.5上分别提高了11%和7%，显示出显著的性能提升。

📝 摘要（中文）

基于多视图图像的3D视觉定位预测坐标框架以定义坐标系统，并回归3D边界框进行定位。然而，现有方法在坐标框架选择和边界框回归上进行联合优化，导致坐标相关的边界框模糊性和定位性能下降。为了解决这一挑战，本文提出了CoordRefer，一个坐标感知框架，解耦了坐标框架选择与坐标条件下的定位。CoordRefer首先选择参考框架以定义坐标系统，然后在该坐标系统下进行3D边界框预测。通过坐标感知的监督微调，建立坐标框架选择和坐标条件的边界框回归，随后使用基于3D IoU奖励的组相对策略优化对齐两个阶段与下游定位质量。在ScanRefer数据集上，CoordRefer在Acc@0.25和Acc@0.5上分别比坐标无关基线提高了11%和7%。

🔬 方法详解

问题定义：本文旨在解决现有多视图图像3D视觉定位方法中坐标框架选择与边界框回归的联合优化问题。现有方法导致同一边界框在不同坐标框架下有多种数值表示，从而产生模糊性，影响定位性能。

核心思路：CoordRefer框架的核心思路是将坐标框架选择与坐标条件下的边界框回归解耦。首先选择一个参考框架定义坐标系统，然后在该系统下进行边界框的预测。这种设计旨在减少坐标相关的模糊性，提高定位的准确性。

技术框架：CoordRefer的整体架构包括两个主要模块：坐标框架选择和坐标条件的边界框回归。首先，通过坐标感知的监督微调来选择参考框架，接着在该框架下进行边界框的回归。最后，使用基于3D IoU的奖励进行组相对策略优化，以确保两个阶段的对齐。

关键创新：CoordRefer的主要创新在于解耦了坐标框架选择与边界框回归，避免了现有方法中的坐标相关模糊性。这种方法使得每个阶段的优化目标更加明确，从而提高了整体的定位性能。

关键设计：在技术细节上，CoordRefer采用了坐标感知的监督微调策略，设计了适应性损失函数，并在网络结构上进行了优化，以确保在不同坐标框架下的边界框回归具有一致性和准确性。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ScanRefer数据集上，CoordRefer在Acc@0.25和Acc@0.5上分别提高了11%和7%，显示出显著的性能提升。其几何精细化变体超越了使用显式3D输入的方法，展示了该框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景，能够有效提高3D视觉定位的精度和可靠性。未来，CoordRefer框架有望在更复杂的环境中进行推广应用，推动相关技术的发展。

📄 摘要（原文）

Multiview image-based 3D visual grounding predicts a coordinate frame to define a coordinate system and then regresses a 3D bounding box for localization. However, existing methods jointly optimize coordinate frame selection and box regression, leading to coordinate-relative box ambiguity and degraded grounding performance. This ambiguity arises because the same box admits different numerical representations across coordinate frames, creating multiple optimization targets and yielding invalid compromise predictions. To tackle this challenge, we propose CoordRefer, a coordinate-aware framework that decouples coordinate frame selection from coordinate-conditioned grounding. CoordRefer first selects a reference frame to define the coordinate system and then conditions 3D box prediction on the coordinate system. We perform coordinate-aware supervised fine-tuning to establish coordinate frame selection and coordinate-conditioned box regression, followed by Group Relative Policy Optimization with 3D IoU-based rewards to align both stages with downstream grounding quality. On ScanRefer with Qwen3-VL-2B, CoordRefer achieves gains of 11% in Acc@0.25 and 7% in Acc@0.5 over the coordinate-agnostic baseline, while its geometrically refined variant surpasses methods using explicit 3D inputs.