Overcoming Statistical Bias in Action-Controllable World Models

📄 arXiv: 2608.04653v1 📥 PDF

作者: Yuhong Shi, Zhenhao Chu, Jie Wei, Jun Hao, Jianyi Liu, Jingwen Fu

分类: cs.CV, cs.RO

发布日期: 2026-08-05

💡 一句话要点

提出CoCo框架以解决动作控制世界模型中的统计偏差问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动作条件模型 反事实一致性 视觉预测 统计偏差 机器人控制 智能体决策

📋 核心要点

  1. 现有的动作条件世界模型容易依赖统计偏差，导致不同动作产生相似的未来预测，缺乏真实的动作依赖性。
  2. 本文提出的CoCo框架通过反事实一致性约束，确保模型在不同动作和观察下的一致性，从而增强动作控制能力。
  3. 在Mini-SSMB上，模型的ARC_inv和ARC_ref分别为0.412和0.483，相较基线减少了17.07%的漂移能量，VP2任务成功率达到73.1%。

📝 摘要（中文）

动作条件世界模型旨在预测在智能体动作下视觉环境的演变。然而，未来帧往往仅凭视觉惯性和重复运动模式就能高度预测，这导致模型可能通过利用统计偏差来拟合数据，而不真正依赖于动作。为此，本文提出了CoCo框架，通过多步反事实一致性和动作空间反事实一致性两个互补约束来增强动作可控性。实验结果表明，该模型在Mini-SSMB和VP2视觉规划任务中表现优异，成功率达到73.1%。

🔬 方法详解

问题定义：本文要解决的问题是现有动作条件世界模型在预测未来帧时过于依赖统计偏差，导致模型未能有效捕捉动作与环境演变之间的真实关系。现有方法在不同动作下可能产生相似的预测，缺乏足够的动作依赖性。

核心思路：论文的核心思路是引入反事实一致性约束，确保模型在面对不同的动作和观察时，能够保持一致的预测。这种设计旨在减少模型对统计偏差的依赖，使其更好地理解动作对环境演变的影响。

技术框架：CoCo框架包含两个主要模块：多步反事实一致性和动作空间反事实一致性。前者约束参考、逆动作和零动作的预测一致性，后者则确保在镜像场景和变换动作下的预测一致性。

关键创新：最重要的技术创新点在于引入了反事实一致性约束，这与现有方法的本质区别在于，后者往往仅依赖于统计特征，而未能有效捕捉动作的影响。

关键设计：在模型设计中，采用了Action Response Consistency (ARC)和Drift Energy (DE)来评估动作可控性，并引入Mini-SSMB进行同状态多动作的反事实评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Mini-SSMB上，模型的ARC_inv和ARC_ref分别为0.412和0.483，相较于基线减少了17.07%的漂移能量。在VP2视觉规划任务中，该模型的平均成功率达到73.1%，在现有模型中表现最佳，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能交互系统等。在这些领域，准确预测环境变化对于决策制定至关重要。通过增强模型的动作可控性，未来的智能体能够更有效地适应动态环境，提高其自主决策能力。

📄 摘要（原文）

Action-conditioned world models aim to predict how visual environments evolve under an agent's actions. Yet future frames are often highly predictable from visual inertia and recurring motion patterns alone. This creates a shortcut: models can fit the data by exploiting statistical biases without making their visible dynamics meaningfully depend on the action. As a result, different actions may produce similar futures, while motion may persist even under zero action. The key question is how to reduce reliance on statistical shortcuts from dominating action-conditioned prediction. We argue that action control requires more than injecting action features; it requires enforcing consistency under counterfactual changes to actions and observations. Based on this insight, we introduce CoCo, a Counterfactual Consistency framework to enhance action controllability through two complementary constraints. Multi-step counterfactual consistency constrains reference, inverse-action, and zero-action rollouts, while action-spatial counterfactual consistency enforces consistent predictions under mirrored scenes and transformed actions. Together, they reduce reliance on statistical shortcuts from substituting for action-dependent dynamics. We further introduce Action Response Consistency (ARC) and Drift Energy (DE) to assess action controllability, together with Mini-SSMB for same-state, multi-action counterfactual evaluation. On Mini-SSMB, our full model achieved ARC_inv of 0.412 and ARC_ref of 0.483, while reducing DE by 17.07% relative to the baseline. On VP2 visual planning, it achieves the highest average success rate among SOTA models, at 73.1%. Experiments on BAIR and RoboNet further show that these gains preserve video prediction quality and transfer across model settings.