PointVG-R: Internalizing Geometric Reasoning in MLLMs for Precise Pointing Localization via Visual Chain of Thought

📄 arXiv: 2606.24539v1 📥 PDF

作者: Ling Li, Bowen Liu, Zinuo Zhan, Jianhui Zhong, Ziyu Zhu, Bingcai Wei, Kenglun Chang, Zhidong Deng

分类: cs.CV

发布日期: 2026-06-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出PointVG-R以解决指向基础视觉定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 几何推理 多模态学习 强化学习 空间关系 人机交互 数据集构建

📋 核心要点

  1. 现有方法在指向基础视觉定位中，往往忽视图像中的空间几何信息，导致模型认知脆弱。
  2. 本文提出PointVG-R，通过引入几何感知推理和强化学习，模拟人类的认知过程来提升模型性能。
  3. 实验结果显示，PointVG-R在mIoU指标上超越基线15.86分，验证了方法的有效性和创新性。

📝 摘要（中文）

指向基础的视觉定位要求模型通过解读视觉场景与指向手势之间复杂的空间关系来精确定位目标对象。传统方法通常将输入图像编码为静态特征表示，并主要在语言领域进行推理，常常忽视图像中固有的丰富感知线索和明确的空间几何。本文提出PointVG-R，一个基于推理的多模态大语言模型，通过引入几何感知推理来改善模型在解读手势空间关系时的认知脆弱性。我们设计了一种新颖的几何推理管道，模拟人类在解读指向手势时的迭代认知过程。此外，我们构建了EgoPoint-CoT，一个高质量的视觉思维链数据集，以指导模型进行监督微调和强化学习。实验结果表明，PointVG-R在mIoU上超越基线15.86分，达到了SOTA性能。

🔬 方法详解

问题定义：本文旨在解决指向基础视觉定位中模型对复杂空间关系的理解不足问题。现有方法主要依赖静态特征表示，未能充分利用图像中的几何信息，导致定位精度不高。

核心思路：论文提出PointVG-R，通过引入几何感知推理，结合强化学习和冷启动数据，模拟人类在解读指向手势时的认知过程，从而提升模型的空间推理能力。

技术框架：PointVG-R的整体架构包括几何推理管道和EgoPoint-CoT数据集。几何推理管道负责处理图像的空间信息，而EgoPoint-CoT则提供详细的推理轨迹，支持模型的监督微调和强化学习。

关键创新：最重要的创新点在于引入几何感知推理和自适应重要性加权策略，后者根据组方差动态调整奖励信号，以优化学习过程。这与传统方法的静态推理方式有本质区别。

关键设计：在模型设计中，采用了新的损失函数和网络结构，以支持几何推理的有效实施。同时，设置了自适应重要性加权策略，以应对训练过程中信号质量的变化。通过这些设计，PointVG-R能够更好地理解和处理指向手势的空间关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PointVG-R在mIoU指标上超越基线15.86分，达到了SOTA性能。此外，广泛的消融实验验证了各个模块的有效性，进一步支持了论文提出的方法的创新性和实用性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、增强现实和机器人导航等。通过提高模型对空间关系的理解能力，PointVG-R能够在复杂环境中实现更精确的目标定位，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

Pointing-based visual grounding requires models to precisely locate target objects by deciphering complex spatial relationships between the visual scene and pointing gestures. Traditional methods typically encode input images into static feature representations and perform reasoning primarily within the linguistic domain, often overlooking the rich perceptual cues and explicit spatial geometry inherent in images. In this study, we aim to mitigate the cognitive vulnerability of models in interpreting gestural spatial relations by proposing PointVG-R, a reasoning-guided Multi-modal Large Language Model (MLLM). PointVG-R introduces geometric-aware reasoning for pointing-based grounding, enabling the model to think with images through the strategic integration of Reinforcement Learning (RL) and cold-start data. Specifically, we design a novel geometric reasoning pipeline that simulates the iterative cognitive process humans employ when interpreting pointing gestures. Furthermore, we construct EgoPoint-CoT, a high-quality visual Chain-of-Thought (CoT) dataset featuring detailed reasoning trajectories to guide the model via Supervised Fine-Tuning (SFT) and RL. To address the varying quality of learning signals encountered during training, we further propose an Adaptive Importance Weighting strategy based on Group Variance, which dynamically adjusts reward signals to optimize the learning process. Experimental results demonstrate that PointVG-R achieves SOTA performance, outperforming the baseline by $\textbf{15.86}$ points in mIoU. Extensive ablation studies further validate the efficacy of our proposed modules. Code: https://github.com/lingli1724/PointVG-R.