WorldReward: Reward Modeling for Camera-Conditioned World Models

📄 arXiv: 2609.03952v1 📥 PDF

作者: Yibin Wang, Zehan Wang, Junshu Tang, Zhimin Li, Yujie Zhou, Jiazi Bu, Pengyang Ling, Feng Han, Zhixiong Zhang, Long Xing, Shengyuan Ding, Ziang Li, Cheng Jin, Yuhang Zang, Jiaqi Wang, Tianyu Pang

分类: cs.CV

发布日期: 2026-09-03

备注: Website: https://codegoat24.github.io/WorldReward

💡 一句话要点

提出WorldReward以解决相机条件下世界模型的奖励建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 相机条件下世界模型 奖励建模 视觉-语言模型 动作一致性 视觉质量 多模态学习 人机交互 视频生成

📋 核心要点

  1. 现有的奖励机制无法同时有效评估动作执行和视觉质量，导致生成的视频质量不高。
  2. 提出WorldReward，通过视觉-语言模型将动作一致性与视觉质量评估结合，提升了奖励建模的准确性。
  3. WorldReward在多个维度上超越了现有模型，并在实际应用中显著改善了动作执行和视觉质量。

📝 摘要（中文）

相机条件下的世界模型生成交互视频，要求指令动作能够引发预期的场景变化，同时保持外观、几何和时间动态的一致性。现有奖励机制分别评估这些要求，几何奖励无法判断视觉质量，而图像奖励则忽视动作执行和时间动态。本文提出WorldReward，一个基于视觉-语言模型的成对偏好奖励模型，统一了动作一致性和视觉质量评估。通过将配对视频分解为动作对齐的块，并对每个块进行结构化视觉证据的组织，WorldReward实现了视频级别的动作和视觉质量偏好。实验结果表明，WorldReward在各维度上均超越了GPT-5.5，并在HY-WorldPlay 1.5的强化学习后训练中显著提升了动作执行和视觉质量。

🔬 方法详解

问题定义：本文解决的是相机条件下世界模型的奖励建模问题，现有方法在评估动作执行和视觉质量时存在分离和不足之处，导致生成视频的整体质量不佳。

核心思路：论文提出的WorldReward利用视觉-语言模型（VLM）提供的共享推理空间，将动作与视觉结果关联起来，通过成对偏好模型来统一评估动作一致性和视觉质量。

技术框架：WorldReward的整体架构包括视频的成对分解、动作对齐块的结构化组织以及基于投票的块级决策聚合，最终形成视频级别的偏好评估。

关键创新：WorldReward的创新在于将动作一致性和视觉质量评估整合为一个统一的模型，解决了现有方法的局限性，特别是在长视频的评估中。

关键设计：在训练过程中，构建了一个大规模的偏好数据集，利用前沿的VLM生成结构化判断，并通过工具审计和人工审核进行精细化，确保数据的高质量和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WorldReward在动作一致性、外观质量和运动质量三个维度上均实现了最高的与人类偏好的一致性，分别超越GPT-5.5 3.42、1.45和3.56个百分点。在HY-WorldPlay 1.5的强化学习后训练中，显著提升了动作执行和视觉质量，展示了其实际应用效果。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、虚拟现实和游戏开发等，能够为生成更高质量的交互视频提供有效的奖励建模方法。未来，WorldReward有望推动多模态学习和人机交互的进一步发展，提升智能系统的表现和用户体验。

📄 摘要（原文）

Camera-conditioned world models generate interactive videos in which commanded actions should induce the expected scene changes while appearance, geometry, and temporal dynamics remain coherent. Existing rewards assess these requirements separately: geometry-based rewards estimate trajectory execution but cannot judge the visual quality of the executed motion, whereas image-based rewards measure frame quality without capturing action execution or temporal dynamics. We posit that a vision-language model (VLM) offers a shared reasoning space for relating actions to their visual outcomes. However, judging a complete long video against its full action sequence creates a lengthy, noisy context in which short-lived local action evidence can be missed or diluted. We present WorldReward, a VLM-based pairwise preference reward model that unifies action-consistency and visual-quality evaluation for camera-conditioned world models. WorldReward decomposes paired videos into action-aligned chunks, organizes each chunk into structured visual evidence, and aggregates chunk-level decisions by voting into separate video-level action and visual-quality preferences. To train it, we construct a large-scale reasoning-augmented preference dataset using structured judgments generated by a frontier VLM and refined through tool-based agent auditing and targeted human review. We further introduce WorldReward-Bench, a human-annotated benchmark measuring reward-model agreement with human preferences across action consistency, appearance quality, and motion quality. WorldReward achieves the highest agreement on all three dimensions, exceeding GPT-5.5 by 3.42, 1.45, and 3.56 percentage points, respectively. When used for RL post-training of HY-WorldPlay 1.5, it consistently improves both action execution and visual quality across short- to long-term horizons.