CAER: Causal Action Effect Reweighting for World Model Training

📄 arXiv: 2608.30897v1 📥 PDF

作者: Jianjie Fang, Xvyuan Liu, Ziyou Wang, Rongze Tang, Zhaolu Wang, Zhuohang Li, Xin Zhang, Haisheng Su, Chen Gao, Wei Wu, Xinlei Chen, Yong Li

分类: cs.AI

发布日期: 2026-08-31

备注: 14 pages, 8 figures. Project page: https://manifoldai-research.github.io/CAER/

💡 一句话要点

提出CAER以解决世界模型训练中的因果效应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果推断 世界模型 视频生成 深度学习 动态学习 模型训练 可控性 视觉质量

📋 核心要点

  1. 现有世界模型训练方法使用均方误差，导致背景信息主导梯度，稀疏的交互动态未得到优化。
  2. CAER通过因果效应重加权，重新分配监督到受行动影响的标记，提升模型对动态变化的学习能力。
  3. 实验结果显示，CAER在多个任务上收敛到更优解，生成视频在物理一致性、可控性和视觉质量上均有显著提升。

📝 摘要（中文）

世界模型已成为具身智能的核心基础设施，行动条件下的视频生成提供了对场景演变的可控预测。然而，现有模型通常使用空间时间均匀的均方误差进行训练，导致背景信息主导梯度，而稀疏的交互动态未得到充分优化。为此，本文提出了因果行动效应重加权（CAER），一种将监督重新分配到因行动而受到影响的标记的训练范式。CAER通过对比模型在有无行动条件下的预测，在线定位这些标记，并将结果效应图归一化为权重，从而避免了额外的数据处理时间，并与模型和数据集规模自然扩展。实验表明，CAER在物理一致性、可控性和生成视频的视觉质量上均优于均匀MSE训练。

🔬 方法详解

问题定义：本文旨在解决现有世界模型训练中因果效应未被充分学习的问题，现有方法在训练时未能有效关注稀疏的交互动态。

核心思路：CAER的核心思路是通过因果效应重加权，将监督信号重新分配到受行动影响的标记上，从而优化模型对动态变化的学习。

技术框架：CAER的整体架构包括在线定位受影响标记、生成效应图并归一化为权重的过程，确保总系数质量不变。

关键创新：CAER的创新在于其在线信号处理方式，无需外部注释或离线预处理，避免了额外的数据处理时间，且能自然扩展。

关键设计：在设计上，CAER使用了动态归一化的效应图，确保在训练过程中有效关注因果关系，提升模型的学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CAER在多个异构的行动条件世界模型任务中，相较于均匀MSE训练，收敛到更优解，物理一致性提升了XX%，可控性提升了XX%，生成视频的视觉质量也显著改善。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能视频生成和虚拟现实等。通过提升模型对环境动态的理解能力，CAER能够在复杂场景中实现更高效的决策和交互，具有重要的实际价值和未来影响。

📄 摘要（原文）

World models are becoming core infrastructure for embodied intelligence, with action-conditioned video generation providing controllable predictions of how scenes evolve after agent interventions. Yet existing models are commonly trained with space-time-uniform mean squared error, allowing abundant background tokens to dominate the gradient while sparse interaction dynamics remain under-optimized; such uniform fitting rewards reconstructing appearance rather than learning how actions change the world. We introduce Causal Action Effect Reweighting (CAER), a general training paradigm that redistributes supervision toward the tokens whose predicted future is causally affected by the action. CAER contrasts the model's own predictions with and without action conditioning to localize these tokens online, then normalizes the resulting effect map into a weight that preserves the total coefficient mass and changes only where it is spent. This online signal requires no external annotations or offline preprocessing, avoids additional data-processing time, and scales naturally with model and dataset size. Experiments across heterogeneous action-conditioned world-model tasks show that CAER converges to better solutions than uniform MSE training, with consistent improvements in the physical consistency, controllability, and visual quality of generated videos.