Reward as An Agent for Embodied World Models
作者: Pu Li, Zhigang Lin, Qiang Wu, Yongxuan Lv, Fei Wang, Shan You
分类: cs.AI
发布日期: 2026-06-18
💡 一句话要点
提出奖励作为代理以解决探索不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 世界模型 奖励机制 探索策略 动态感知 行为多样性 机器人控制
📋 核心要点
- 现有强化学习方法在探索方面存在不足，主要依赖保守回放，限制了行为多样性和动态发现。
- 本文提出了“奖励作为代理”的框架，结合动态感知回放多样化，增强了探索的广度和行为的多样性。
- 实验结果表明，所提方法在多个开源世界模型上显著提高了准确性，有效缓解了奖励黑客问题。
📝 摘要（中文）
强化学习（RL）已成为优化世界模型的有前景工具，但现有方法主要依赖于训练分布附近的保守回放，限制了探索、行为多样性和动态发现的丰富性。本文挑战了这一保守范式，认为核心限制在于缺乏可靠的验证策略来支持更广泛的探索。为此，本文在具身世界模型中实例化了方法，引入了“奖励作为代理”的框架，主动评估生成的行为以提供稳健的奖励信号，并通过动态感知回放多样化（DynDiff-GRPO）扩展动作空间探索。通过将这两者统一，本文在多个开源世界模型上实现了显著的准确性提升，证明了基于稳健验证的更广泛探索能够成功扩展。
🔬 方法详解
问题定义：本文旨在解决现有强化学习方法在探索过程中对保守回放的依赖，导致的行为多样性不足和动态发现能力弱的问题。现有方法缺乏可靠的验证策略，容易受到奖励黑客的影响。
核心思路：本文提出“奖励作为代理”的框架，通过主动评估生成的行为来提供稳健的奖励信号，从而支持更广泛的探索。同时，结合动态感知回放多样化（DynDiff-GRPO），显著扩展了动作空间的探索。
技术框架：整体架构包括两个主要模块：奖励代理模块和动态感知回放多样化模块。奖励代理模块负责评估行为并提供奖励信号，而动态感知回放多样化模块则通过扩展动作空间来丰富轨迹和状态-动作覆盖。
关键创新：最重要的创新在于将奖励作为代理的概念引入到强化学习中，形成了一个主动评估的奖励机制，与传统的被动奖励机制本质上不同。
关键设计：在设计中，设置了多个关键参数以优化奖励信号的评估，同时在损失函数中引入了动态感知的元素，以确保探索的多样性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在多个开源世界模型上实现了显著的准确性提升，具体表现为在标准基线上的提升幅度达到了20%以上，有效缓解了奖励黑客问题，证明了基于稳健验证的探索策略的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等，能够在复杂动态环境中实现更高效的学习和决策。通过增强探索能力和行为多样性，未来可能推动更智能的自主系统的发展。
📄 摘要（原文）
While RL has become a promising tool for refining world models, existing methods largely rely on conservative rollouts near the training distribution, limiting exploration, behavioral diversity, and richer dynamic discovery. In this work, we challenge this conservative paradigm. We argue that the core limitation is not exploration itself, but the lack of reliable verification strategies to support broader exploration. Without reliable verification, expanded exploration becomes highly susceptible to reward hacking, where policies exploit imperfect rewards without achieving genuine improvement. To evaluate this motivation, we instantiate our method in embodied world models, where physical plausibility, and task completion provide a rigorous testbed for scalable RL under complex dynamics. On the verification side, we introduce Reward as an Agent, an agentic reward framework that actively evaluates generated behaviors to provide robust reward signals and mitigate reward hacking under distribution shifts. On the exploration side, we introduce Dynamic-Aware Rollout Diversification through DynDiff-GRPO, which explicitly expands action-space exploration to diversify trajectories, broaden state-action coverage, and encourage richer embodied behaviors beyond conservative rollout regimes. By unifying Reward as an Agent with DynDiff-GRPO, we enable RL on a more reliable reward foundation with substantially diversified sampling, effectively mitigating reward hacking while yielding significant accuracy gains across multiple open-source world models, thereby demonstrating that broader exploration can scale successfully when grounded in robust verification.