Training Vision-Language-Action Models with Dense Embodied Chain-of-Thought Supervision
作者: Haoyang Li, Guanlin Li, Youhe Feng, Chen Zhao, Zhuoran Wang, Yang Li, Qizhe Wei, Shifeng Bao, Haitao Shen, Yihan Zhao, Tong Yang, Jing Zhang
分类: cs.RO, cs.CV
发布日期: 2026-06-29
🔗 代码/项目: GITHUB
💡 一句话要点
提出ZR-0模型以解决跨平台视觉-语言-动作转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 跨体现转移 密集监督 双流架构 机器人操作
📋 核心要点
- 跨体现转移在视觉-语言-动作模型中面临低级状态和动作空间差异的挑战，现有方法难以有效对齐。
- 提出ZR-0模型，通过密集的体现链式思维监督对齐跨体现的视觉-语言表示，采用双流架构进行推理和动作生成。
- ZR-0在多个仿真基准和真实世界实验中表现优异，验证了其在不同机器人平台上的有效性和通用性。
📝 摘要（中文）
跨体现转移在视觉-语言-动作（VLA）模型中仍然面临挑战，因为不同机器人平台的低级状态和动作空间存在根本差异。我们观察到，操作背后的高级认知过程，包括场景感知、物体识别、任务规划和子任务分解，在不同体现中大体相同。基于这一观察，我们提出了ZR-0，一个具有26亿参数的端到端VLA模型，利用密集的体现链式思维（ECoT）监督来对齐跨体现的视觉-语言模型（VLM）表示。ZR-0采用双流架构：一个预训练的VLM生成结构化的ECoT推理，而基于扩散变换器的动作专家则通过流匹配生成连续的动作片段。两者通过交叉注意力耦合，注意力掩码限制动作专家仅输入提示特征，使得推理时可以完全跳过ECoT生成而不损失性能。ZR-0在ProcCorpus-60M上进行预训练，这是一个包含约6000万帧（约1000小时）来自40万条轨迹的大规模数据集，密集的ECoT注释覆盖了96.8%的所有帧。我们在多个仿真基准上评估ZR-0，展示了其在单臂、双臂和类人机器人平台上的强大性能。
🔬 方法详解
问题定义：本论文旨在解决跨体现的视觉-语言-动作模型在低级状态和动作空间差异导致的转移困难。现有方法在不同机器人平台上难以有效对齐和迁移知识。
核心思路：我们提出ZR-0模型，利用密集的体现链式思维（ECoT）监督来对齐不同体现的视觉-语言表示，强调高级认知过程的共享性。
技术框架：ZR-0采用双流架构，其中一个预训练的视觉-语言模型（VLM）负责生成结构化的ECoT推理，另一个基于扩散变换器的动作专家负责生成连续的动作片段。两者通过交叉注意力机制耦合，注意力掩码确保动作专家仅接收提示特征。
关键创新：ZR-0的主要创新在于引入密集ECoT监督，允许在推理时跳过ECoT生成而不损失性能，这与传统方法的推理过程有本质区别。
关键设计：ZR-0的设计包括26亿参数的双流架构，使用流匹配生成动作片段，预训练数据集ProcCorpus-60M包含6000万帧，密集ECoT注释覆盖96.8%的帧。
🖼️ 关键图片
📊 实验亮点
ZR-0在多个仿真基准上表现出色，尤其在单臂、双臂和类人机器人平台上均取得了显著的性能提升。与基线模型相比，ZR-0在任务完成率和操作精度上均有显著提高，验证了其在不同应用场景中的有效性。
🎯 应用场景
ZR-0模型在机器人操作、自动化任务执行和人机交互等领域具有广泛的应用潜力。通过有效的跨体现知识转移，该模型可以提升机器人在复杂环境中的自主操作能力，推动智能机器人技术的发展。
📄 摘要（原文）
Cross-embodiment transfer in vision-language-action (VLA) models remains challenging because low-level state and action spaces differ fundamentally across robot platforms. We observe that the high-level cognitive process underlying manipulation, including scene perception, object identification, task planning, and sub-task decomposition, is largely shared across embodiments. Based on this observation, we present ZR-0, a 2.6 billion parameter end-to-end VLA model that uses dense Embodied Chain-of-Thought (ECoT) supervision to align cross-embodiment representations within the vision-language model (VLM). ZR-0 adopts a dual-stream architecture: a pre-trained VLM (System 2) generates structured ECoT reasoning during training, while a Diffusion Transformer-based action expert (System 1) produces continuous action chunks via flow matching. The two components are coupled through cross-attention, with an attention mask that restricts the action expert to input prompt features only, enabling ECoT generation to be entirely skipped at inference without any performance loss. ZR-0 is pre-trained on ProcCorpus-60M, a large-scale dataset comprising approximately 60 million frames (approximately 1,000 hours) from over 400K trajectories, with dense ECoT annotations covering 96.8% of all frames. We evaluate ZR-0 on three simulation benchmarks spanning single-arm (LIBERO), bimanual (RoboTwin 2.0), and humanoid (RoboCasa GR-1 Tabletop) embodiments, as well as real-world experiments on the xArm platform, demonstrating strong performance across all settings. Code and model checkpoints are available at https://github.com/RUCKBReasoning/ZR-0.