DreamX: Video Diffusion Model is a Universal Latent Action Learner

📄 arXiv: 2611.05377v1 📥 PDF

作者: Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, Seungryong Kim

分类: cs.CV, cs.AI, cs.RO

发布日期: 2026-11-03

备注: Project Page: https://cvlab-kaist.github.io/DreamX/

💡 一句话要点

提出DreamX以解决视频动作表示学习中的转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频扩散模型 潜在动作学习 跨模态转移 时空特征提取 机器人控制 智能体学习

📋 核心要点

  1. 现有的潜在动作模型在从视觉转变中推断动作时，常常将动作与无关的视觉变化混合，限制了跨不同身体的转移能力。
  2. DreamX通过重新利用预训练的视频扩散模型，提取紧凑的潜在动作，捕捉与视觉外观解耦的动作动态，从而实现通用的动作表示学习。
  3. 在LARY-Bench上，DreamX在潜在动作模型中表现出色，支持任意视频转移和零-shot动作转移，显著降低了计算成本。

📝 摘要（中文）

学习通用的动作表示需要建模在不同执行中的动态一致性，同时对身体和外观的变化保持不变。现有的潜在动作模型从视觉转变中推断动作，但其表示往往将底层动作与无关的视觉变化纠缠在一起，限制了跨身体的转移。我们提出了DreamX，它重新利用了预训练的视频扩散模型作为通用的潜在动作学习器。我们的方法从视频模型丰富的时空特征中提取紧凑的潜在动作，将每个潜在视频帧压缩了300倍。此外，通过利用视频模型的生成先验，这些潜在动作捕捉了与视觉外观解耦的动作相关动态。最终的潜在空间作为跨身体（人类和机器人）、环境和动作参数化的共享动作接口。在LARY-Bench上，DreamX在潜在动作模型中实现了最先进的性能。此外，在一个设置中编码的动作在另一个设置中仍然有效：潜在空间支持跨不同身体和环境的任意视频转移和零-shot动作转移。这一共享接口还使得在紧凑的潜在动作空间中进行策略学习成为可能，从而降低了基于视频扩散的策略的计算成本。

🔬 方法详解

问题定义：本论文旨在解决视频动作表示学习中的转移问题，现有方法在推断动作时常将动作与视觉变化纠缠，导致跨不同身体的转移能力受限。

核心思路：我们提出DreamX，利用预训练的视频扩散模型作为通用的潜在动作学习器，提取与视觉外观解耦的动作动态，从而实现高效的动作表示学习。

技术框架：DreamX的整体架构包括视频模型的特征提取模块、潜在动作压缩模块和共享动作接口。通过这些模块，我们能够将视频帧压缩至300倍，并提取出紧凑的潜在动作表示。

关键创新：最重要的创新在于利用视频模型的生成先验，提取的潜在动作能够有效捕捉与视觉外观无关的动作动态，形成一个共享的动作接口，支持跨不同环境和身体的转移。

关键设计：在设计中，我们采用了特定的损失函数来优化潜在动作的解耦性，并在网络结构中引入了多层次的特征提取，以增强模型对时空特征的捕捉能力。通过这些设计，DreamX在性能上显著优于现有的潜在动作模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LARY-Bench上，DreamX在潜在动作模型中实现了最先进的性能，支持任意视频转移和零-shot动作转移，显著提升了跨不同身体和环境的适应能力，计算成本也得到了有效降低。

🎯 应用场景

DreamX的研究成果在多个领域具有广泛的应用潜力，包括机器人控制、虚拟现实和增强现实等。通过提供通用的动作表示，DreamX能够促进不同系统之间的协作与交互，推动智能体在复杂环境中的自主学习与适应能力。

📄 摘要（原文）

Learning a universal action representation from video requires modeling dynamics that are consistent across different executions of the same action yet invariant to changes in embodiment and appearance. Existing latent action models infer actions from visual transitions, but their representations often entangle the underlying action with irrelevant visual variations, limiting transfer across embodiments. We introduce DreamX, which repurposes a pretrained video diffusion model as a universal latent action learner. Our approach extracts compact latent actions from the video model's rich spatiotemporal features, compressing each latent video frame by $\boldsymbol{300\times}$ ($\boldsymbol{1{,}200 \rightarrow 4}$ tokens). In addition, by leveraging the video model's generative prior, these latent actions capture action-relevant dynamics disentangled from visual appearance. The resulting latent space serves as a shared action interface across embodiments (human and robot), environments, and action parameterizations. On LARY-Bench, DreamX achieves state-of-the-art performance among latent action models. Moreover, actions encoded in one setting remain effective in another: the latent space supports any-to-any video transfer and zero-shot action transfer across diverse embodiments and environments. Furthermore, this shared interface also enables policy learning in a compact latent action space, reducing the computational cost of video-diffusion-based policies.