GIFT: Guided Intermediate Feature Training via Action-Oriented Structural Supervision for Robotic Manipulation

📄 arXiv: 2609.04193v1 📥 PDF

作者: Yupeng Zheng, Xiang Li, Songen Gu, Yuhang Zheng, Shuai Tian, Weize Li, Linbo Wang, Chaoyue Li, Qichao Zhang, Haoran Li, Zhongpu Xia, Ya-Qin Zhang, Shuicheng Yan, Dongbin Zhao

分类: cs.RO

发布日期: 2026-09-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出GIFT以解决机器人操作中的动作充分性差距问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言预训练 动作充分性 中间特征学习 几何对齐 可供性预测 目标区域重建 高精度任务

📋 核心要点

  1. 现有的视觉-语言预训练方法在机器人操作中存在动作充分性差距，未能有效利用关键的物理和任务结构。
  2. GIFT通过引导中间特征保留几何、可供性和目标结构，提供了一种新的训练时间约束机制，提升了控制效用。
  3. 在LIBERO-Plus和RoboCasa上，GIFT的多个变体均显著超越了对比基线，展示了在复杂任务中的优越性能。

📝 摘要（中文）

视觉-语言预训练和预测世界建模为机器人策略提供了丰富的语义和动态视觉特征，但其固有的动作和视觉预测目标可能忽略关键的物理和任务结构，导致视觉丰富性与控制效用之间存在动作充分性差距。本文提出GIFT（引导中间特征训练），通过几何对齐、可供性预测和目标区域重建等方法，引导中间特征保留与机器人操作相关的几何、可供性和目标结构。实验结果表明，GIFT在LIBERO-Plus和RoboCasa上均显著超越了现有方法，尤其在未见视觉和空间扰动下的高精度操作任务中表现突出。

🔬 方法详解

问题定义：本文旨在解决机器人操作中视觉丰富性与控制效用之间的动作充分性差距，现有方法未能有效利用关键的物理和任务结构，导致控制效果不佳。

核心思路：GIFT通过引导中间特征的学习，保留与机器人操作相关的几何、可供性和目标结构，从而提升模型的控制能力和任务适应性。

技术框架：GIFT框架灵活，能够与多种模型架构结合，主要包括几何对齐、可供性预测和目标区域重建三个模块，形成完整的训练流程。

关键创新：GIFT的主要创新在于通过结构化的引导机制，将中间特征学习与控制相关的结构紧密结合，显著提升了模型在复杂操作任务中的表现。

关键设计：在设计中，GIFT采用了特定的损失函数来优化几何对齐和可供性预测，同时在网络结构上进行了适配，以确保模型在不同任务中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GIFT-VLA、GIFT-WAM-Fast和GIFT-WAM-IDM在LIBERO-Plus上分别超越对比基线4.6、12.6和5.2个百分点，达到79.6%、72.6%和87.8%的性能。在RoboCasa上，三种变体分别达到61.4%、83.6%和82.3%，超越对比方法12.6、9.0和8.4个百分点，显示出GIFT在复杂任务中的显著优势。

🎯 应用场景

GIFT的研究成果在机器人操作领域具有广泛的应用潜力，尤其是在复杂环境中的高精度任务执行。其方法可以被应用于自动化制造、服务机器人以及人机协作等场景，提升机器人在动态和不确定环境下的操作能力。未来，GIFT的理念也可能扩展到其他领域，如智能家居和无人驾驶等。

📄 摘要（原文）

Vision-language pre-training and predictive world modeling provide robot policies with rich semantic and dynamic visual features, but their native action and visual-prediction objectives may omit critical physical and task structure while retaining control-irrelevant visual redundancy. We call this mismatch between visual richness and control utility the action-sufficiency gap. We investigate whether this gap can be bridged by guiding intermediate features to preserve three control-relevant structure in robotic manipulation: geometry governing motion feasibility, affordance encoding instruction-relevant entities, and goals grounding instructions in task-relevant regions. To this end, we present GIFT (Guided Intermediate Feature Training), an architecture-flexible framework for learning intermediate features that translates these structures into training-time constraints through geometry alignment, affordance prediction, and goal-region reconstruction. We instantiate GIFT in a Vision-Language-Action (VLA) policy, a direct-action World-Action Model (WAM), and an inverse-dynamics WAM while retaining each model's action formulation. Under zero-shot transfer to LIBERO-Plus, GIFT-VLA, GIFT-WAM-Fast, and GIFT-WAM-IDM outperform StarVLA-OFT, Fast-WAM, and Fast-WAM-IDM by 4.6, 12.6, and 5.2 points, reaching 79.6%, 72.6%, and 87.8%, respectively. On RoboCasa, the three GIFT variants reach 61.4%, 83.6%, and 82.3%, outperforming their counterparts by 12.6, 9.0, and 8.4 points, respectively. Together, these results establish learning functionally structured intermediate features as a reusable principle across model-specific action formulations, with especially large gains on articulated-object tasks and high-precision real-world manipulation under unseen visual and spatial perturbations. Project page: https://openphoenix-team.github.io/GIFT-pages.