Pointing-VLA: Typed Spatial Grounding Interfaces for Vision-Language-Action Manipulation
作者: Xiwen Chen, Zelin Li, Zhiruo Zhou, Huiming Chen, Chenwei Wang, Xiaojun Zhu
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-08-24
💡 一句话要点
提出Pointing-VLA以解决视觉-语言-动作中的空间定位问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 空间定位 机器人执行 多模态推理 深度学习
📋 核心要点
- 现有的VLA模型通过文本坐标和动作标记进行空间定位，导致接口脆弱，影响机器人执行的可靠性。
- Pointing-VLA通过类型化隐藏状态空间读出，使用几何特定的头部直接预测空间目标，避免了文本序列化的复杂性。
- 在实验中，Pointing-VLA在多个任务上表现出色，成功率从52.7%提升至80.7%，显著提高了机器人执行的效率。
📝 摘要（中文）
视觉-语言-动作（VLA）模型通常通过自回归文本坐标或不透明的动作标记来暴露空间定位，这导致多模态推理与机器人执行之间的接口脆弱。本文提出了Pointing-VLA，一种基于Embodied-R1的类型化隐藏状态空间读出。几何特定的头部预测标准化点、物体功能定位（OFG）热图和视觉轨迹，而无需将几何信息序列化为文本。在评估的Bridge/WidowX和物理拾取-放置部署中，明确的执行契约将PICK分配给源条件的OFG，将PLACE分配给Pointing，从而提供直接的阶段对齐空间目标。Pointing-VLA在Bridge/WidowX上实现了SOTA性能，在评估的四任务集上平均达到72.9%。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型在空间定位上的脆弱性，现有方法依赖于文本坐标和不透明的动作标记，导致多模态推理与机器人执行之间的接口不够稳定。
核心思路：提出Pointing-VLA，通过类型化的隐藏状态空间读出，直接预测标准化的空间点和物体功能定位热图，简化了空间定位过程，增强了模型的可解释性和执行效率。
技术框架：Pointing-VLA的整体架构包括几何特定的头部模块，负责生成标准化点、OFG热图和视觉轨迹，结合明确的执行契约来指导机器人操作。
关键创新：最重要的创新在于引入了类型化的空间读出机制，避免了将几何信息序列化为文本的需求，从而提升了模型的执行效率和准确性。
关键设计：在模型设计中，采用了几何特定的头部结构，优化了损失函数以适应空间预测任务，同时在实验中展示了与Embodied-R1文本解码相比，速度提升了6.68至6.90倍。
🖼️ 关键图片
📊 实验亮点
在实验中，Pointing-VLA在Bridge/WidowX任务上实现了72.9%的平均成功率，且在与NORA-1.5的迁移学习中，成功率保持或提高，同时控制器记录时间减少超过20倍。与传统方法相比，Pointing-VLA在执行效率上有显著提升。
🎯 应用场景
该研究的潜在应用场景包括机器人抓取、自动化仓库管理和人机交互等领域。通过提高机器人在复杂环境中的空间定位能力，Pointing-VLA可以显著提升机器人执行任务的效率和准确性，推动智能机器人技术的发展。
📄 摘要（原文）
Vision-language-action (VLA) models often expose spatial grounding through autoregressive text coordinates or opaque action tokens, creating brittle interfaces between multimodal reasoning and robot execution. We present Pointing-VLA, a typed hidden-state spatial readout built on Embodied-R1. Geometry-specific heads predict normalized points, object-functional grounding (OFG) heatmaps, and visual trajectories without serializing geometry as text. For the evaluated Bridge/WidowX and physical pick-place deployments, an explicit execution contract assigns PICK to source-conditioned OFG and PLACE to Pointing, providing direct stage-aligned spatial targets. Pointing-VLA achieves SOTA performance on Bridge/WidowX, averaging 72.9\% across the evaluated four-task set without Bridge-specific finetuning under collision-enabled CuRobo execution. Pointing and OFG show complementary strengths across native and cross-dataset evaluations. The OFG/contact readout transfers to NORA-1.5, preserving or improving success while reducing recorded controller time by more than 20$\times$; typed heads are also 6.68--6.90$\times$ faster than Embodied-R1 text decoding on a shared external suite. When integrated as spatial guidance for a $π_{0.5}$ action policy, Pointing-VLA raises autonomous real-robot success from 52.7\% to 80.7\% across three visual contexts. These results establish typed spatial readouts as an efficient, inspectable interface between embodied reasoning and robot execution.