Causal Reward World Models: Zero-shot Reward Design for Automated Skill Generation

📄 arXiv: 2606.23280v1 📥 PDF

作者: Yang Yang, Yuchuang Tong, Zhengtao Zhang, Xu Ding, Ning Yang, Yifan Zhang, Haipeng Li, Kehu Yang, Miao Xin

分类: cs.RO

发布日期: 2026-06-22

备注: 22 pages, 18 figures

💡 一句话要点

提出因果奖励世界模型以解决自动化奖励设计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 因果建模 自动化奖励设计 强化学习 机器人技能学习 大型语言模型 奖励函数生成 多任务学习

📋 核心要点

  1. 现有的自动化奖励设计方法依赖于迭代反馈，导致推理效率低下且容易受到因果关系误判的影响。
  2. 本文提出因果奖励世界模型（CRWM），通过离线预训练建模奖励组件与物理变量之间的因果关系，从而提高奖励函数的生成质量。
  3. 实验结果显示，CRWM能够在没有反馈驱动的情况下生成可执行的奖励函数，显著降低设计延迟，并在多项任务中展现出强大的泛化能力。

📝 摘要（中文）

自动化奖励设计（ARD）旨在用基于语言的奖励函数合成替代手动奖励工程。然而，现有基于大型语言模型（LLMs）的方法依赖于迭代环境反馈，导致低效推理和对因果关系的误判。为了解决这些问题，本文提出了因果奖励世界模型（CRWM），通过离线预训练多任务交互数据，明确建模候选奖励组件与任务相关物理变量之间的因果拓扑关系。通过粗到细的预训练策略，结合显式机制解耦与置信度感知软融合的联合优化模块，构建了稳健且可解释的因果骨架。在推理阶段，LLMs利用CRWM作为任务无关的因果先验，支持零-shot奖励函数设计。实验表明，CRWM在复杂的连续控制基准上生成可执行的奖励函数，显著降低了获取新机器人技能的设计延迟，同时匹配或超越了现有的最优性能。

🔬 方法详解

问题定义：本文旨在解决现有自动化奖励设计方法在推理效率和因果关系建模上的不足，现有方法往往依赖于反馈迭代，导致低效和不准确的奖励函数生成。

核心思路：提出因果奖励世界模型（CRWM），通过离线预训练多任务交互数据，明确建模奖励组件与任务相关物理变量之间的因果关系，从而实现零-shot奖励函数设计。

技术框架：CRWM的整体架构包括离线预训练阶段和推理阶段。在预训练阶段，采用粗到细的策略，结合显式机制解耦与置信度感知软融合的联合优化模块；在推理阶段，LLMs利用CRWM作为因果先验进行奖励生成。

关键创新：CRWM的最大创新在于其因果建模能力，通过明确的因果拓扑关系，克服了现有方法的相关性驱动问题，实现了更高效的奖励设计。

关键设计：在模型设计中，采用了显式机制解耦与置信度感知软融合的联合优化模块，确保了奖励组件的有效整合与优化，同时在损失函数的设计上注重因果关系的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CRWM在复杂的连续控制基准上生成的奖励函数无需反馈驱动，显著降低了设计延迟，且在多项任务中性能超越了现有最优方法，展现出强大的泛化能力，尤其在未见任务和多样化机器人形态中表现优异。

🎯 应用场景

该研究的潜在应用领域包括机器人技能学习、自动化控制系统和智能代理的奖励设计。通过提供高效的奖励函数生成方法，CRWM能够加速机器人在复杂环境中的学习过程，提升其自主决策能力，未来可能在智能制造、自动驾驶等领域产生深远影响。

📄 摘要（原文）

Automated Reward Design (ARD) aims to replace manual reward engineering in reinforcement learning with language-driven reward function synthesis. However, existing approaches based on large language models (LLMs) remain inherently correlation-driven, relying on iterative environmental feedback to refine reward hypotheses for each specific task. This paradigm not only results in inefficient reasoning but also makes LLMs susceptible to semantically plausible yet causally spurious reward components, leading to ineffective optimization. To address these limitations, we propose the Causal Reward World Model (CRWM), which explicitly models the causal topological relationships between candidate reward components and task-targeted physical variables through offline pre-training on multi-task interaction data. Based on a coarse-to-fine pre-training strategy, we introduce a joint optimization module that integrates Explicit Mechanism Decoupling with Confidence-Aware Soft Fusion to refine coarse structural priors using micro-level trajectories, thereby constructing a robust and interpretable causal skeleton. During inference, LLMs leverage CRWM as a task-irrelevant causal prior to constrain the reward generation, enabling zero-shot reward function design. Our work opens up a new white-box paradigm for the ARD problem. Extensive experiments on complex continuous control benchmarks demonstrate that CRWM generates executable reward functions without feedback-driven reward refinement, significantly reducing the design latency for acquiring new robotic skills while matching or surpassing state-of-the-art performance, and further exhibits strong generalization capabilities across unseen tasks and diverse robotic embodiments.