Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models

📄 arXiv: 2606.31846v1 📥 PDF

作者: Lang Cao, Renhong Chen, Luyi Li, Peng Wang, Mofan Peng, Yitong Li

分类: cs.RO, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出Z-1框架以提升视觉-语言-动作模型的强化学习效率

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 强化学习 机器人操作 群体相对策略优化 流基模型 在线优化 任务级训练

📋 核心要点

  1. 现有的视觉-语言-动作模型在强化学习中主要依赖行为克隆和固定演示的监督微调，导致改进空间有限。
  2. Z-1框架通过任务级的群体相对策略优化（GRPO）在流基VLA模型上进行后训练，提升了学习效率和稳定性。
  3. 在24个RoboCasa任务中，Z-1的成功率达80.6%，较SFT初始化提升13.2个百分点，超越了现有最优模型。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通过连接语言指令、视觉观察和连续控制，为机器人操作提供了有前景的框架。然而，现有政策大多受限于行为克隆或从固定演示中进行的监督微调（SFT），这限制了从政策自身失败中改进的机会。本文提出Z-1，一个用于流基VLA模型的强化学习后训练框架。Z-1在$π_{0.5}$的基础上，仅使用公开发布的RoboCasa演示进行SFT，然后在24个标准RoboCasa任务中应用任务级的群体相对策略优化（GRPO）策略。为了提高在线优化的效率和稳定性，Z-1结合了共享前缀回滚构建、树结构轨迹分支、完成感知奖励校准和VLM与动作专家的选择性联合训练。在所有24个RoboCasa任务中，Z-1的平均成功率达到80.6%，比其SFT初始化提高了13.2个百分点，并超越了已发布的最优模型。这些结果表明，系统化的GRPO后训练可以显著改善流基VLA政策，而无需额外的私有演示。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在强化学习中的局限性，尤其是依赖固定演示进行监督微调的问题，这使得模型难以从自身失败中学习和改进。

核心思路：Z-1框架通过引入任务级的群体相对策略优化（GRPO）策略，结合共享前缀回滚和树结构轨迹分支等技术，旨在提高在线优化的效率和稳定性，从而增强模型的学习能力。

技术框架：Z-1的整体架构包括几个主要模块：首先，使用公开的RoboCasa演示进行监督微调；其次，应用GRPO策略进行后训练；最后，通过共享前缀回滚和树结构轨迹分支来优化学习过程。

关键创新：Z-1的主要创新在于系统化的GRPO后训练方法，它能够在没有额外私有演示的情况下显著提升流基VLA政策的性能，与传统的监督微调方法形成鲜明对比。

关键设计：在设计中，Z-1采用了选择性联合训练的策略，结合了视觉语言模型（VLM）和动作专家的训练，同时在奖励校准中引入了完成感知机制，以提高模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Z-1在24个RoboCasa任务中的平均成功率达到80.6%，比SFT初始化提高了13.2个百分点，且超越了已发布的最优模型，展示了其在强化学习中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等场景。通过提升视觉-语言-动作模型的学习效率，Z-1能够在复杂环境中实现更高效的任务执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models offer a promising framework for robotic manipulation by connecting language instructions, visual observations, and continuous control. However, most existing policies remain limited by behavior cloning or supervised fine-tuning (SFT) from fixed demonstrations, which provides limited opportunity to improve from the policy's own failures. In this paper, we present Z-1, a reinforcement learning (RL) post-training framework for flow-based VLA models. Built on top of $π_{0.5}$, Z-1 uses only publicly released RoboCasa demonstrations for SFT and then applies a task-wise Group Relative Policy Optimization (GRPO) strategy across $24$ standard RoboCasa tasks. To improve the efficiency and stability of online optimization, Z-1 combines shared-prefix rollout construction, tree-structured trajectory branching, completion-aware reward calibration, and selective joint training of VLM and Action Expert. Across all $24$ RoboCasa tasks, Z-1 achieves an average success rate of $80.6\%$, improving over its SFT initialization by $13.2\%$ points and outperforms the published sota models. These results show that systematic GRPO post-training can substantially improve flow-based VLA policies without additional private demonstrations.