ShadowDancer: Teaching Video World Models Any Action by Learning Unified Dynamics Representations from a Video and Its Shadow
作者: Jin Cao, Zian Meng, Kaipeng Zhang
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-07-30
备注: https://ShadowDancer-1.github.io
💡 一句话要点
提出ShadowDancer以解决视频世界模型中的动作控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频世界模型 动作控制 影子对 交叉影子预测 动态表示 深度学习 机器人控制
📋 核心要点
- 现有方法在动作编码上存在不足，导致在多样化动态下的精确控制变得不切实际。
- ShadowDancer通过影子对和交叉影子预测来实现统一的动态表示，使得演示片段可以在新环境中重用。
- 实验结果显示，ShadowDancer在动作迁移和长时间动作展开方面显著优于现有强基线，平均盲测胜率达到86%。
📝 摘要（中文）
我们提出了ShadowDancer，这是一种新颖的方法，旨在实现交互式视频世界模型的任意动作、逐帧控制。现有接口在动作编码上存在不足，导致在多样化动态下的精确控制变得不切实际。演示视频虽然可以逐帧指定动态，但由于视频仅通过特定外观展示动态，导致从演示中学习的动作在新场景中迁移效果较差。ShadowDancer通过两个关键创新解决了这一问题：一是构建了影子对，即在独立重采样外观下重放相同动态的视频对；二是通过交叉影子预测学习动作，从而实现统一的动态表示，能够在新环境中重用演示片段而无需动作标签、运动估计或微调。实验结果显示，在多样化动态家族中，ShadowDancer在动作迁移和长时间动作展开方面显著优于强基线，平均盲测胜率达到86%。
🔬 方法详解
问题定义：本论文旨在解决交互式视频世界模型中任意动作控制的挑战。现有方法要么对动作编码不够精确，导致模型需要自行发挥；要么通过结构化信号精确编码，但难以获取，导致在多样化动态下的控制不够实用。
核心思路：ShadowDancer的核心思路是利用影子对和交叉影子预测来克服现有方法的局限性。影子对允许在不同外观下重放相同的动态，而交叉影子预测则通过预测一个影子来学习另一个影子的动作，从而实现统一的动态表示。
技术框架：ShadowDancer的整体架构包括两个主要模块：影子库用于构建影子对，和一个基于预测的学习模块，通过交叉影子预测来学习动作。整个流程从视频数据中提取影子对，然后通过模型进行训练，最终实现动态的重用。
关键创新：最重要的技术创新在于影子对的构建和交叉影子预测的学习机制。与现有方法不同，ShadowDancer能够在不依赖动作标签或运动估计的情况下，实现对新环境的有效动作迁移。
关键设计：在设计中，影子对的构建采用了大规模重采样技术，确保多样化的外观能够有效覆盖不同动态。同时，损失函数设计为关注于影子之间的预测精度，以确保学习到的动作具有较好的泛化能力。网络结构则采用了适应性强的深度学习架构，以支持复杂动态的学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ShadowDancer在动作迁移和长时间动作展开方面显著优于强基线，平均盲测胜率达到86%。这一结果证明了其在多样化动态家族中的有效性，展示了该方法在实际应用中的潜力。
🎯 应用场景
ShadowDancer的研究成果在多个领域具有潜在应用价值，包括游戏开发、虚拟现实和机器人控制等。通过实现高效的动态重用，该方法能够降低开发成本，提高交互式系统的灵活性和适应性，未来可能推动智能交互技术的发展。
📄 摘要（原文）
We present ShadowDancer, a novel approach to any-action, frame-level control of interactive video world models. The obstacle is representational: existing interfaces either encode an action loosely, leaving how it unfolds for the model to improvise, or encode it exactly through structured signals that serve one family and are hard to acquire, so precise control across diverse dynamics remains impractical. Demonstration videos are the natural remedy, specifying any dynamics frame by frame; yet a video shows its dynamics only through one particular appearance, a single shadow of the underlying dynamics, so actions learned from demonstrations transfer poorly to new scenes. ShadowDancer addresses this with two key innovations: (1) shadow pairs, video pairs that replay the same dynamics under independently resampled appearance, constructed at scale by our Shadow Library, so that a dynamics family becomes controllable exactly when such pairs can be constructed for it; and (2) cross-shadow prediction, which learns actions by predicting one shadow from the other, so that whatever the pairing resamples is discarded by construction and whatever it preserves becomes the action, yielding a unified dynamics representation that drives a block-causal world model. Any demonstrated clip thus becomes a reusable action asset, replayed in new environments without action labels, motion estimators, or fine-tuning. Experiments demonstrate improved action transfer and long action rollout over strong latent-action and interactive world model baselines across diverse dynamics families, with an average blinded win rate of 86% in rollout comparisons. We show video results at https://ShadowDancer-1.github.io