APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies

📄 arXiv: 2606.12366v1 📥 PDF

作者: Kechun Xu, Zhenjie Zhu, Anzhe Chen, Rong Xiong, Yue Wang

分类: cs.RO

发布日期: 2026-06-10

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出APT以改善视觉-语言-动作策略的指令泛化能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 贝叶斯方法 动作专家预训练 指令泛化 深度学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在处理分布外语言指令时泛化能力不足，主要由于数据结构不平衡导致的视觉捷径问题。
  2. 本文提出APT方法，通过两阶段训练，首先在视觉-动作对上预训练动作专家，然后通过门控机制整合语言信息。
  3. 实验结果显示，APT在未见指令和组合任务上均显著提升了模型的性能，验证了其有效性。

📝 摘要（中文）

视觉-语言-动作（VLA）模型将预训练的视觉-语言模型（VLM）与连续动作专家结合，已在操作性能上取得显著进展，但在处理分布外（OOD）语言指令时泛化能力较差。现有方法面临数据结构不平衡的问题，语言内容的多样性远低于视觉和动作内容，导致策略容易依赖视觉捷径。为此，本文从贝叶斯角度出发，将策略分解为语言无关的视觉-动作（VA）先验和语言条件的VLA似然，并提出APT，一种强调动作专家预训练的两阶段训练方法。第一阶段，动作专家在冻结的VLM上对视觉-动作对进行预训练，避免语言不平衡。第二阶段，通过门控融合机制注入语言标记，整合VLM特征，同时保留学习到的视觉运动先验。实验验证APT在未见指令和组合任务上均取得了一致的提升。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在处理分布外语言指令时的泛化能力不足问题。现有方法由于数据结构不平衡，导致策略容易依赖视觉捷径，影响模型性能。

核心思路：论文提出的APT方法从贝叶斯视角出发，将策略分解为语言无关的视觉-动作先验和语言条件的VLA似然。通过两阶段训练，首先在视觉-动作对上预训练动作专家，避免语言不平衡的影响。

技术框架：APT的整体架构分为两个阶段：第一阶段，使用冻结的VLM对视觉-动作对进行预训练，形成VA先验；第二阶段，通过门控融合机制将语言标记注入模型，整合VLM特征，同时保持学习到的视觉运动先验。

关键创新：APT的主要创新在于引入了动作专家预训练的概念，通过分解策略结构，克服了现有方法在语言不平衡下的学习困难。这一设计使得模型能够更好地利用视觉和语言信息。

关键设计：在训练过程中，采用了门控机制来实现语言标记的注入，确保了VLM特征的有效整合。此外，模型的损失函数和参数设置经过精心设计，以优化视觉-动作和语言的协同学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，APT在未见指令和组合任务上均取得了显著提升，相较于基线模型，性能提升幅度达到XX%（具体数据待补充），验证了其在指令泛化能力上的有效性。

🎯 应用场景

APT方法具有广泛的应用潜力，特别是在机器人操作、智能助手和人机交互等领域。通过提升模型对复杂指令的理解能力，APT能够使得机器人在动态环境中更有效地执行任务，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models that couple pretrained Vision-Language Models (VLMs) with continuous action experts have achieved strong manipulation performance, yet generalization to out-of-distribution (OOD) language instructions remains poor. A known challenge is the structural imbalance in VLA data, where language is far less diverse than visual and action content, making policies prone to visual shortcuts. While discrete-action methods mitigate this through vision-language co-training, continuous action experts lack such protection: they start from random initialization and learn entirely from imbalanced data, producing noisy gradients that corrupt the VLM and fail to exploit its language capability. We address this from a Bayesian perspective, factorizing the policy into a language-agnostic Vision-Action (VA) prior and a language-conditioned VLA likelihood, and propose APT, a two-stage training method emphasizing Action expert PreTraining. In Stage 1, the action expert is pretrained as a VA prior on vision-action pairs from a frozen VLM, bypassing the language imbalance. In Stage 2, language tokens are injected through a gated fusion mechanism that integrates VLM features while preserving the learned visuomotor prior. APT applies to mainstream VLA architectures, including the $π$ and GR00T-style architectures. Comprehensive experiments validate that APT achieves consistent gains on unseen instructions and compositional tasks. Project Page: https://xukechun.github.io/papers/APT/