ReWorld: Learning Better Representations for World Action Models

📄 arXiv: 2606.27504v1 📥 PDF

作者: Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Yu Zhu, Zhenxin Zhu, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

分类: cs.CV

发布日期: 2026-06-25

备注: 19 pages,3 figures

💡 一句话要点

提出ReWorld以提升世界行动模型的表示学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行动模型 表示学习 自动驾驶 视频生成 规划优化 多模态对齐 安全边界 硬负样本监督

📋 核心要点

  1. 现有的世界行动模型主要关注模型架构设计，缺乏对中间表示的有效学习，导致规划效果受限。
  2. ReWorld框架通过将中间表示作为优化目标，采用未来预测监督和硬负样本监督等方法，提升了世界表示的学习效果。
  3. 在nuScenes和NAVSIM数据集上的实验结果显示，ReWorld在视频生成和闭环规划中均有显著提升，验证了其有效性。

📝 摘要（中文）

世界行动模型（WAMs）在动作条件下建模未来环境演变，为自动驾驶提供了一种可扩展的范式。然而，现有方法主要集中在模型架构设计上，如何有效学习更好的世界表示以进行规划仍然未被充分探索。为了解决这一问题，我们提出了ReWorld，这是首个专门为自动驾驶世界行动模型设计的表示学习框架。ReWorld的核心思想是将中间表示视为优化的直接目标，并在三个互补维度上进行塑造。通过在生成模块的中间表示上施加未来预测监督，以及在规划模块中通过跨模态对齐和硬负样本监督来增强安全关键边界的区分性，ReWorld显著提升了视频生成和闭环规划性能。实验结果表明，ReWorld在nuScenes和NAVSIM数据集上实现了23.9%的FVD提升，并加速了从零开始的收敛速度。

🔬 方法详解

问题定义：论文旨在解决现有世界行动模型在学习中间表示时的不足，现有方法仅通过输出端进行监督，导致中间表示的学习效果不佳。

核心思路：ReWorld的核心思路是将中间表示视为直接优化目标，通过未来预测监督和硬负样本监督等方式，增强中间表示的学习效果。

技术框架：ReWorld框架包括生成模块（Video DiT）和规划模块（Action DiT），在生成模块中施加未来预测监督，在规划模块中进行跨模态对齐和安全边界的区分性塑造。

关键创新：ReWorld的创新在于首次将中间表示作为优化目标，采用多维度的监督策略，显著提升了世界行动模型的表示学习能力。

关键设计：在Video DiT中，施加未来预测损失；在Action DiT中，采用跨模态对齐和硬负样本监督，确保中间表示在安全关键边界的区分性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ReWorld在nuScenes数据集上将视频生成的FVD从81.3提升至61.9，提升幅度达23.9%。此外，闭环规划的PDMS从89.1提高到90.4，且在无后处理的情况下实现了显著的性能提升，收敛速度加快约2倍。

🎯 应用场景

ReWorld的研究成果在自动驾驶领域具有广泛的应用潜力，能够提升车辆在复杂环境中的决策能力和安全性。通过更好的世界表示学习，自动驾驶系统可以更准确地预测未来环境变化，从而优化路径规划和行为决策。未来，该框架还可能扩展到其他需要环境建模和预测的领域，如机器人导航和智能交通系统。

📄 摘要（原文）

World Action Models (WAMs) model future environment evolution under action conditioning, offering a scalable paradigm for autonomous driving. However, existing approaches focus largely on model architecture design, and how a WAM can efficiently learn better world representations for planning remains underexplored. To address this gap, we propose ReWorld, the first representation learning framework specifically designed for autonomous-driving world action models. In WAMs, standard training supervises only the output ends of the generation and planning modules, leaving the intermediate representations that carry world knowledge to be shaped only indirectly, as byproducts of fitting these outputs. The core idea of ReWorld is to treat intermediate representations as direct targets of optimization, shaping them along three complementary dimensions. On the Video DiT responsible for generation, we impose future-predictive supervision on its intermediate representations. On the Action DiT responsible for planning, we first align its intermediate representations cross-modally with the video world representation, then further shape them to be discriminative around safety-critical boundaries via hard-negative supervision. In addition, we systematically analyze the effectiveness of existing representation learning methods in video generation world models, and discuss why their performance is limited on this task. Experiments on nuScenes and NAVSIM show that ReWorld improves fine-tuned video generation by 23.9% in FVD (81.3 to 61.9), raises closed-loop PDMS from 89.1 to 90.4 without any post-training such as RL or post-processing, and accelerates from-scratch convergence by approximately 2x.