Dueling World Models: Advantage-Style Action Channels for Common-Mode Distractor Rejection
作者: Jiazhuo Li, Yiming Fei, Zhiruo Zhou, Heikichi Hayashi
分类: cs.LG, cs.AI
发布日期: 2026-08-07
备注: 17 pages, 6 figures, 11 tables. Includes supplementary appendix
💡 一句话要点
提出对抗式世界模型以解决干扰因素拒绝问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 对抗式学习 干扰因素拒绝 动作通道 强化学习
📋 核心要点
- 核心问题：现有潜在世界模型在面对非控制运动时，预测结果对不同动作变得不可区分，导致模型失去有效性。
- 方法要点：本文提出通过减去预测均值效果来消除动作共享的干扰因素，从而保留可控的动作通道，简化了模型设计。
- 实验或效果：在多个环境中进行实验，结果显示该方法能有效恢复智能体的控制效果，干扰因素的影响几乎不可察觉。
📝 摘要（中文）
潜在世界模型通过预测动作后的未来状态进行规划，但在场景中存在非控制运动时，模型会变得对动作失去敏感性。现有方法通过重建、任务奖励或辅助目标来抑制这种干扰，但这些方法往往增加了复杂性或假设。本文提出了一种最小化的替代方案，借鉴了价值的对抗分解，通过在潜在动态中减去预测的均值效果，消除动作共享的干扰因素，留下一个干净且可控的通道。该方法无需奖励、重建或特定于干扰因素的辅助损失，适用于任何动作条件的世界模型。实验表明，该方法在多个环境中有效恢复了智能体的控制效果，显著提升了模型的性能。
🔬 方法详解
问题定义：本文旨在解决潜在世界模型在存在非控制运动时的动作失效问题。现有方法通过重建和辅助目标来抑制干扰，但增加了复杂性和假设。
核心思路：提出了一种基于对抗分解的思路，通过减去预测的均值效果来消除动作共享的干扰因素，留下一个干净的可控通道。这种设计使得模型在处理干扰时更加简洁有效。
技术框架：整体架构包括潜在动态建模和动作通道提取两个主要模块。首先，模型根据动作预测未来状态，然后通过减去均值效果来提取可控的动作通道。
关键创新：最重要的技术创新在于通过简单的减法操作来实现干扰因素的消除，与现有方法相比，避免了复杂的重建和额外的损失函数设计。
关键设计：在参数设置上，模型不需要额外的奖励信号或特定于干扰的辅助损失，保持了设计的简洁性。网络结构上，采用了标准的动作条件世界模型架构，确保了兼容性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个环境中均表现出色，尤其是在网格世界和自然像素的Atari游戏中，成功恢复了智能体的控制效果，干扰因素的影响几乎为零，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和游戏智能体等。通过提高模型在复杂环境中的鲁棒性，能够显著提升智能体的决策能力和适应性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Latent world models plan by predicting future states from an action, but when a scene contains motion the agent does not control, they quietly go action-blind: predictions for different actions become indistinguishable even as the training loss keeps improving. Existing remedies suppress this distraction with reconstruction, task reward, or auxiliary objectives, each adding machinery or assumptions. We show that a minimal alternative suffices, borrowed from the dueling decomposition of value into a state baseline and an action advantage: in latent dynamics, subtracting a prediction's mean effect over actions cancels whatever the actions share--the action-independent variation where distractors live--leaving a clean, controllable channel, with no reward, no reconstruction, and no distractor-specific auxiliary loss. Because this is only a subtraction at readout time, it applies unchanged to any action-conditioned world model, including frozen pretrained ones. Across a gridworld, synthetic generators with known factors, distracting continuous control, and natural-pixel Atari, the isolated channel recovers the agent's own effect where entangled predictors fail, with nuisance leak indistinguishable from zero; applied post hoc it surfaces an action channel in off-the-shelf models that their raw readouts miss, and it converts into goal-reaching control in the gridworld. We prove the cancellation is exact in finite samples for both discrete and sampled action sets, and we state its measured boundary--distractors whose motion tracks the action--together with the remaining limitations in the appendix.