Not All Actions Are Equal: Rethinking Conditioning for Dexterous World Model
作者: Zizhao Yuan, Zhengtu Liang, Taowen Wang, Qiwei Liang, Yichi Wang, Yunheng Wang, Yuetong Fang, Lusong Li, Zecui Zeng, Renjing Xu
分类: cs.CV
发布日期: 2026-06-25
💡 一句话要点
提出DexAC-WM以解决高自由度动作建模问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 高自由度控制 动作条件建模 视觉动态对齐 语义分支 机器人交互 世界模型 复杂场景建模
📋 核心要点
- 现有的动作条件世界模型在高自由度控制场景中表现不佳，主要由于将整个动作序列压缩为单一表示导致的细节丢失。
- 本文提出DexAC-WM，将动作条件视为结构化过程，通过动作标记化和语义分支来增强模型对高自由度动作的建模能力。
- 实验结果表明，结合语义分支的DexAC-WM在多个指标上显著优于现有方法，提升了视觉和时间的一致性。
📝 摘要（中文）
近年来，基于动作条件的世界模型在复杂交互建模和未来状态预测方面取得了显著进展。然而，现有方法通常将整个动作序列压缩为单一表示，这在低自由度控制中表现良好，但在高自由度场景中却不够可靠。本文提出DexAC-WM，将动作条件视为结构化过程，通过动作标记化保留维度级语义，并通过局部细化和全局调制将动作信号与视觉动态对齐。此外，本文引入语义分支，提供丰富的对象-场景先验，增强了世界模型对动态视觉细节的捕捉能力。实验结果表明，DexAC-WM在EgoDex和EgoVerse数据集上显著提高了FID、FVD和PCK，展示了在视觉时间真实感和动作一致性方面的提升。
🔬 方法详解
问题定义：本文旨在解决现有动作条件世界模型在高自由度场景中建模不准确的问题。现有方法将整个动作序列压缩为单一表示，导致在复杂动作中细节丢失，影响模型的可靠性。
核心思路：论文提出DexAC-WM，将动作条件视为结构化过程，而非全局压缩。通过动作标记化保留维度级语义，并通过局部细化和全局调制将动作信号与视觉动态对齐，从而提高高自由度动作的建模能力。
技术框架：DexAC-WM的整体架构包括动作标记化模块、语义分支模块和视觉动态对齐模块。动作标记化模块负责将动作序列分解为多个标记，语义分支模块提供对象-场景先验，而视觉动态对齐模块则确保动作信号与视觉信息的协调。
关键创新：最重要的技术创新在于将动作条件建模视为一个结构化过程，强调了维度级语义的保留和局部与全局信息的结合。这一设计与现有方法的全局压缩策略形成鲜明对比，能够更好地捕捉高自由度动作的细微变化。
关键设计：在网络结构上，DexAC-WM采用了多层次的动作标记化机制，结合了局部细化和全局调制的损失函数，以优化动作信号与视觉动态的对齐。此外，语义分支的设计使得模型能够利用丰富的对象-场景信息，从而增强了模型的语义理解能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结合语义分支的DexAC-WM在EgoDex和EgoVerse数据集上显著提高了FID、FVD和PCK，分别提升了XX%、YY%和ZZ%。这些结果表明，DexAC-WM在视觉时间真实感和动作一致性方面具有显著优势，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、虚拟现实和增强现实等高自由度动作交互场景。通过提高高自由度动作的建模能力，DexAC-WM能够在复杂环境中实现更自然的交互，推动智能体在动态场景中的应用。未来，该方法可能会影响多种领域的智能系统设计，提升其在复杂任务中的表现。
📄 摘要（原文）
Recent advances in action-conditioned world models show promising progress in modeling complex interactions and forecasting future states under diverse action sequences. While these models are often driven by stronger visual representations and model capacity, action conditioning itself remains underexplored. Most existing approaches compress the entire action sequence into a single representation, which works well for low-DoF control but becomes less reliable in high-DoF scenarios. We observe that high-DoF dexterous actions are inherently heterogeneous, spanning multiple orders of magnitude, where large-scale motions coexist with subtle but important signals. When uniformly aggregated, optimization exhibits an imbalance across action components, which hinders the modeling of fine-grained effects and affects action fidelity. We therefore propose DexAC-WM, which treats action conditioning as a structured process rather than global compression. DexAC preserves dimension-level semantics via action tokenization and aligns action signals with visual dynamics through local refinement and global modulation. To address the limited high-level semantic grounding in existing world models, we further introduce a semantic branch that provides rich object-scene priors, which enables world model to capture dynamic visual details while supporting high-DoF action-conditioned video prediction. Experiments on EgoDex and EgoVerse show that combining the semantic branch with DexAC significantly improves FID, FVD, and PCK, demonstrating gains in visual-temporal realism and action-following consistency. We further verify that DexAC extends to other backbones, showing the scalability of our structured action-conditioning design. These results suggest that scaling world models to high-DoF control requires both structured action modeling and semantic grounding.