Direct Action-Head Injection of A Grounded 3D Point Unlocks Spatial and Task Generalization
作者: Shiang-Feng Tsai, Jin-Cheng Jhang, Yen-Ling Tai, Jia-Hong Lai, Shih-Yun Wong, KangTung-Hsu, Yi-Ting Chen
分类: cs.RO
发布日期: 2026-06-26
💡 一句话要点
提出3D点直接注入机制以解决VLA模型的空间与任务泛化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 空间泛化 任务泛化 3D点表示 机器人操作 轻量级模块 自适应层归一化 多层感知机
📋 核心要点
- 现有VLA模型在空间和任务泛化方面表现脆弱，无法有效处理训练时未见的物体位置和语言指令。
- 本文提出通过3D点表示基础信号，并将其直接注入到动作头中，以提升模型的泛化能力。
- 在LIBERO-PRO数据集上，方法在任务扰动下成功率从31.2提升至77.5，位置扰动下从28.1提升至60.2，显示出显著的性能提升。
📝 摘要（中文）
视觉-语言-动作（VLA）模型利用大规模视觉-语言预训练实现灵活的机器人操作，但在测试时在空间泛化和任务泛化方面表现脆弱。现有方法通过2D像素坐标等信息增强策略，但未能有效解决这些问题。本文提出了一种轻量级、模型无关的模块，通过3D点表示基础信号，计算其相对位移，并通过自适应层归一化直接注入到动作头中。实验结果表明，该方法在LIBERO-PRO数据集上显著提高了GR00T-N1.6的成功率，证明了3D基础信号的直接注入是实现空间和任务泛化的关键。
🔬 方法详解
问题定义：本文旨在解决VLA模型在空间和任务泛化方面的脆弱性，现有方法主要依赖2D信息，未能有效应对训练时未见的场景和指令。
核心思路：提出一种轻量级的模块，通过3D点表示基础信号，计算其与抓手的相对位移，并直接注入到动作头中，从而增强模型的空间和任务感知能力。
技术框架：整体架构包括一个两层的多层感知机（MLP），该模块无需对VLA主干或预训练流程进行修改，直接与现有系统集成。
关键创新：最重要的创新在于通过3D点直接注入基础信号，这一方法显著提升了模型在不同任务和位置下的泛化能力，与传统的语言或视觉提示方法相比，具有本质的区别。
关键设计：模块采用自适应层归一化技术，确保注入信号的有效性，且设计上保持轻量级，便于与各种VLA主干网络兼容。具体参数设置和损失函数设计未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在LIBERO-PRO数据集上，GR00T-N1.6的成功率在任务扰动下从31.2提升至77.5，位置扰动下从28.1提升至60.2，分别实现46.3和32.1的显著增益，验证了该方法的有效性和广泛适用性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等场景。通过提升VLA模型的泛化能力，可以使机器人在复杂和动态环境中更有效地执行任务，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Vision-Language-Action (VLA) models leverage large-scale vision-language pretraining for flexible robot manipulation, yet at test time they remain brittle along two axes: spatial generalization, when object positions differ from those seen during training, and task generalization, when a familiar scene is paired with a different language instruction than the one seen in training. A growing family of methods addresses this brittleness by endowing a policy with the spatial and task-aware information such as 2D pixel-coordinate for object localization and placement. However, we find that existing representation through language prompting or visual prompting does not address the limitations; in contrast, exploiting a 3D point-based representation and feeding it directly to the action head leads to substantial improvements-revealing that how the grounding signal is represented and injected into the VLA is the true game changer. Thus, we propose a lightweight, model-agnostic module that represents the grounding signal in 3D, computes its relative displacement to the gripper, and injects the resulting spatial embedding directly into the action head through adaptive layer normalization. The entire module is a two-layer MLP that requires no changes to the VLA backbone or pretraining pipeline. On LIBERO-PRO, our method improves the average success rate of GR00T-N1.6 from 31.2 to 77.5 points under task perturbation and from 28.1 to 60.2 points under position perturbation (gains of 46.3 and 32.1 points). Comparable gains are achieved for $π_{0.5}$ as well, demonstrating that the mechanism is backbone-agnostic. Together, these results support our central finding: given adequate grounding lifted into 3D, injecting it directly into the action head is what unlocks both spatial and task generalization in VLAs-achievable with nothing more than a lightweight module on top of a pretrained backbone.