WorldCycle: Self-Verifiable Reinforcement Learning for Long-Horizon Video World Models
作者: Bohai Gu, Yueyang Yuan, Taiyi Wu, Dazhao Du, Jian Liu, Xiaoyi Pang, Jie Zhang, Xiaocheng Lu, Haobin Zhong, Xiaotong Zhao, Alan Zhao, Song Guo
分类: cs.AI, cs.LG
发布日期: 2026-08-05
备注: https://nevsnev.github.io/Worldcycle/
💡 一句话要点
提出WorldCycle以解决长视频世界模型的验证瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长视频理解 自验证强化学习 可逆动作循环 空间闭合奖励 时间一致性奖励 复合动作 模型优化
📋 核心要点
- 现有的交互式视频世界模型在长时间规划中面临累积误差问题，导致模型性能下降。
- 论文提出WorldCycle框架，通过可逆动作循环实现自验证，优化空间和时间一致性奖励。
- 实验结果表明，WorldCycle将状态返回漂移降低了44%，复合动作准确率提升近4倍，显著增强了模型性能。
📝 摘要（中文）
交互式视频世界模型在长时间规划和探索中至关重要，但容易出现累积误差。现有的后训练方法如强化学习（RL）虽然能改善这些模型，但在验证上存在瓶颈：对于任意动作序列，缺乏真实未来状态来衡量长期漂移。我们的关键见解是可逆动作循环使得这种验证成为可能：由其逆序组成的序列必须在分析上返回初始状态，从而实现对长时间正确性的无注释监督。基于此，我们提出了WorldCycle，一个自验证的RL框架，通过构建闭合动作循环及其重复执行，优化两个互补奖励：空间闭合奖励和时间一致性奖励。这些奖励促使模型学习一致的状态操作，而非记忆的时间模式，并自然扩展到基模型处理不佳的复合动作循环。我们还发布了CycleBench，一个用于复杂动作结构下状态返回能力的诊断基准。
🔬 方法详解
问题定义：论文要解决的具体问题是长视频世界模型在长时间规划中的验证瓶颈，现有方法在处理任意动作序列时缺乏真实未来状态来衡量长期漂移，导致模型性能下降。
核心思路：论文的核心解决思路是利用可逆动作循环的特性，使得由其逆序组成的动作序列能够在分析上返回初始状态，从而实现对长时间正确性的无注释监督。
技术框架：整体架构包括两个主要模块：首先是构建闭合动作循环，其次是通过重复执行这些循环来优化模型。框架中引入了空间闭合奖励和时间一致性奖励，以促进模型学习一致的状态操作。
关键创新：最重要的技术创新点在于引入了可逆动作循环的概念，使得模型能够在没有真实未来状态的情况下进行自我验证，这与现有方法依赖于真实数据进行验证的方式本质上不同。
关键设计：在关键设计上，模型优化了两个奖励函数：空间闭合奖励确保镜像前后段之间的对称性，时间一致性奖励则对齐重复循环执行中的状态。这些设计使得模型能够更好地处理复合动作循环。
🖼️ 关键图片
📊 实验亮点
实验结果显示，WorldCycle在状态返回漂移方面减少了高达44%，复合动作的准确率提升近4倍，相较于基模型表现出显著的性能提升。这些结果表明该框架在长时间规划中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等需要长时间规划和决策的场景。通过提高模型的自验证能力，WorldCycle为物理基础的世界模型奠定了重要基础，未来可能推动更复杂的智能系统的发展。
📄 摘要（原文）
Interactive video world models are essential for long-horizon planning and exploration, yet they suffer from compounding errors. Post-training methods such as reinforcement learning (RL) can improve these models, but they hit a verification bottleneck: for arbitrary action sequences, no ground-truth future state exists to measure long-term drift. Our key insight is that reversible action cycles make this verification possible: a sequence composed with its inverse must analytically return to the initial state, yielding annotation-free supervision on long-horizon correctness. Building on this, we introduce WorldCycle, a self-verifiable RL framework that constructs closed action cycles and their repeated executions from ordinary action sequences, and optimizes two complementary rewards: a spatial closure reward enforcing symmetry between mirrored forward and reverse segments, and a temporal consistency reward aligning states across repeated cycle executions. These rewards force the model to learn actions as consistent state operators rather than memorized temporal patterns, and extend naturally to out-of-distribution composite action cycles that the base model handles poorly. We further release CycleBench, a diagnostic benchmark for state-returning ability under complex action structures. WorldCycle reduces state returning drift by up to 44% and lifts composite-action accuracy nearly 4x over the base model, providing a vital foundation for physically grounded world models.