G0.5: One Autoregressive Stream for Robot Reasoning and Action
作者: Yicheng Liu, Zibin Dong, Baijun Ye, Tianyuan Yuan, Tao Jiang, Anqi Yang, Shicheng Cao, Haonan Liu, Yue Sun, Zihan Guo, Xiao Liu, Dong Ke, Changxun Pan, Chenru Wu, Tailai Cheng, Xiaoshu Ren, Xinlei Zhang, Jianning Cui, Zijie Zhao, Haoyu Zhang, Kaiming Xu, Haodong Yang, Bowen Zhang, Jiahui Niu, Shaoting Zhu, Shiduo Zhang, Hang Zhao
分类: cs.RO, cs.AI
发布日期: 2026-08-12
💡 一句话要点
提出G0.5以解决机器人推理与行动的统一问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人推理 自回归模型 视觉-语言-行动 多模态学习 任务分解
📋 核心要点
- 现有的VLA模型将VLM与动作专家分开训练，导致VLM无法直接进行决策。
- G0.5通过单一的变换器解码器实现推理与行动的统一，采用跨体现动作标记器和视觉记忆模块。
- 在多个基准测试中，G0.5的表现超越了现有模型，特别是在真实世界的机器人任务中取得了显著提升。
📝 摘要（中文）
现有的视觉-语言-行动（VLA）模型通常将预训练的视觉语言模型（VLM）与单独训练的动作专家结合，使得VLM成为上下文编码器而非决策者。本文提出G0.5，这是一种预训练的自回归VLA模型，通过单一的变换器解码器发出推理和行动标记。其核心在于可学习的跨体现动作标记器、原生的思维链流和视觉记忆模块，使得推理与行动共享权重，从而实现更高效的物理行为执行。G0.5在多个独立任务中超越了现有的最先进模型，展示了其在真实世界中的优越性能。
🔬 方法详解
问题定义：现有的视觉-语言-行动（VLA）模型通常将视觉语言模型（VLM）与单独训练的动作专家结合，导致VLM无法直接进行决策，限制了其在机器人推理与行动中的应用。
核心思路：G0.5通过一个单一的自回归变换器解码器来同时生成推理和行动标记，旨在将推理与行动整合为一个统一的过程，从而提高模型的决策能力和执行效率。
技术框架：G0.5的整体架构包括三个主要模块：可学习的跨体现动作标记器、原生的思维链流以及视觉记忆模块。动作标记器将异构机器人动作映射到共享词汇，思维链流则交替处理任务分解、物体定位和行动提示，视觉记忆模块则通过视觉编码器注入多秒历史信息。
关键创新：G0.5的最大创新在于推理与行动共享同一组权重，这使得预训练的VLM能力能够直接转化为物理行为，显著提升了模型在复杂任务中的表现。
关键设计：在设计中，G0.5采用了特定的损失函数来优化推理与行动的联合训练，并通过精细的参数设置来确保模型在多种任务中的适应性和鲁棒性。具体的网络结构和训练细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
G0.5在多个独立任务中表现优异，特别是在R1lite和R1pro机器人上的真实世界微调中，取得了76.7%的准确率，显著高于其他基线模型。此外，在2025 BEHAVIOR Challenge中，G0.5在50个长时间家庭移动操作任务中也表现出色，达到了31.4%的成功率，展示了其在复杂任务中的优势。
🎯 应用场景
G0.5的研究成果在机器人领域具有广泛的应用潜力，尤其是在家庭自动化、服务机器人和工业机器人等场景中。通过提升机器人在复杂环境中的推理与行动能力，该模型能够更好地执行长时间的任务，提升工作效率和安全性。未来，G0.5可能会推动智能机器人向更高层次的自主决策和执行能力发展。
📄 摘要（原文）
The prevailing recipe for Vision-Language-Action (VLA) models couples a pretrained VLM with a separately trained flow-matching action expert. This makes the VLM a context encoder rather than a decision-maker. We introduce G0.5, a pretrained autoregressive VLA in which a single transformer decoder emits reasoning and action tokens under a single objective. Three components make this tractable at foundation-model scale: a learnable cross-embodiment action tokenizer that maps heterogeneous robot actions into a shared vocabulary; a native chain-of-thought stream interleaving task decomposition, object grounding, and action hints with action tokens; and a visual memory module that injects multi-second history through the vision encoder. Because reasoning and action share a single set of weights, the pretrained VLM's capabilities carry over to physical behavior: the model follows instructions closely, and prompts directly steer action granularity, task horizon, and out-of-distribution scene handling without further training. Pretrained on a large collection of robot datasets together with VQA samples, G0.5 surpasses state-of-the-art models across 7 independent regimes: real-world fine-tuning on R1lite and R1pro robots (76.7\% vs.\ 53.3\% for $π_{0.5}$ and 24.4\% for GR00T-N1.7), the 2025 BEHAVIOR Challenge on 50 long-horizon household mobile manipulation tasks using a generalist policy (31.4\% vs.\ 26.3\% for $π_{0.5}$ and 26.1\% for the challenge winner), DROID post-training followed by zero-shot transfer to an unseen environment and objects (82.5\%), a language-following Pick-and-Place benchmark, LIBERO (98.9\%), RoboTwin 2.0 (93.3\%), and SimplerEnv-Bridge (87.3\%).