Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction

📄 arXiv: 2610.39416v1 📥 PDF

作者: Akila Ayanthi, Darshana Priyasad, Tharindu Fernando, Dimity Miller, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

分类: cs.RO, cs.CV

发布日期: 2026-10-29

备注: IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2027)

💡 一句话要点

提出几何解码方法以解决机器人抓取与轨迹预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 几何解码 机器人抓取 轨迹预测 空间信息 交叉注意力 深度学习 多模态融合

📋 核心要点

  1. 现有的视觉语言模型在处理抓取和轨迹预测时，主要依赖于自回归解码，导致空间结构信息的丢失和错误的累积。
  2. 论文提出了一种轻量级的几何兼容预测头，能够直接从中间隐藏层读取特征，并通过交叉注意力机制进行优化，避免了对基础模型的修改。
  3. 实验结果显示，所提方法在轨迹预测中减少了60%的误差，并在ShareRobot-Bench上提高了85%的mAP，相较于自回归基线有显著提升。

📝 摘要（中文）

预测抓取位置和移动方式本质上是一个几何问题，而现有的视觉语言模型（VLMs）却将其视为语言生成问题。这种方法忽略了空间结构，导致连续精度的截断和错误的累积。本文展示了具有0.5-2B参数的紧凑型VLMs在中间隐藏状态中已经编码了丰富的空间信息。通过引入轻量级的几何兼容预测头，直接从中间隐藏层读取特征，并通过交叉注意力机制来回归连续值的抓取框和轨迹点，显著提高了预测精度。我们在ShareRobot-Bench和AGD20K上进行评估，结果表明该方法在轨迹预测中减少了60%的误差，并在ShareRobot-Bench上提高了85%的mAP。

🔬 方法详解

问题定义：本文旨在解决机器人抓取和轨迹预测中的几何问题，现有方法通过自回归解码忽视了空间结构，导致连续精度的损失和错误的累积。

核心思路：提出了一种几何解码的方法，通过轻量级的预测头直接从中间隐藏层读取特征，结合任务指令进行条件化，进而回归连续值的抓取框和轨迹点。

技术框架：整体架构包括一个冻结的基础模型和一个附加的几何兼容预测头。该预测头从中间隐藏层提取特征，利用交叉注意力机制优化输出。

关键创新：最重要的创新在于通过几何兼容的方式直接解码空间信息，而非依赖于自回归的文本生成，从而提高了预测的准确性和效率。

关键设计：在设计中，采用了交叉注意力机制来增强特征的关联性，并通过条件化查询来优化输出，确保了抓取框和轨迹点的连续值回归。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在轨迹预测中减少了60%的误差，并在ShareRobot-Bench上提高了85%的mAP，相较于自回归基线，表现出更高的准确性和3.8倍的处理效率，接近RoboBrain的性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人抓取、自动导航和人机交互等领域。通过提高机器人对环境的理解能力，能够显著提升其在复杂任务中的表现，未来可能推动智能机器人在日常生活和工业应用中的普及。

📄 摘要（原文）

Predicting where to grasp and how to move is fundamentally a geometry problem. Vision-language models treat it as language generation instead. They tokenize spatial coordinates into text and decode them autoregressively. This mechanism ignores spatial structure and truncates continuous precision. Errors compound across coordinate tokens during decoding. In this paper, we show that compact off-the-shelf VLMs with 0.5-2B parameters already encode rich spatial information in their intermediate hidden states. Autoregressive decoding is the dominant bottleneck for trajectory prediction, while affordance prediction depends additionally on feature depth and decoder architecture. We expose the latent spatial information with a lightweight, geometry-compatible prediction head that attaches to a frozen backbone. It reads features from an intermediate hidden layer, conditions a learned query on the task instruction and refines it via cross-attention over the visual tokens to regress affordance boxes and trajectory waypoints directly as continuous values, without modifying the backbone. We evaluate on ShareRobot-Bench and AGD20K. Our 2B variant reduces trajectory error by over 60% and improves ShareRobot-Bench affordance mAP by 85% relative to the autoregressive baseline. It approaches RoboBrain on trajectory prediction (0.251 vs 0.191 DFD) at 3.8x higher throughput. These results demonstrate a favorable accuracy-efficiency trade-off for instruction-conditioned 2D geometric prediction.