Future Representation Distillation for Imagination-Free World Action Models

📄 arXiv: 2611.04527v1 📥 PDF

作者: Jaehyeong Jo, Sangwon Jang, Sihyun Yu, Seonghyeon Ye, Yekyung Nah, Hojung Jung, Kimin Lee, Sung Ju Hwang

分类: cs.RO

发布日期: 2026-11-03

💡 一句话要点

提出DreamFree以解决机器人控制中的视频预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界行动模型 视频预测 机器人控制 表示蒸馏 实时控制 多模态学习 智能系统

📋 核心要点

  1. 现有的世界行动模型在进行机器人控制时，依赖于视频预测，这导致了高昂的计算成本和不准确的视觉预测。
  2. 论文提出的DreamFree通过表示蒸馏技术，使得机器人能够仅依赖当前观察进行行动预测，而无需生成未来视频。
  3. 实验结果显示，DreamFree在多个任务中成功率高于现有最先进的方法，并且实现了实时控制，具有较高的实用性。

📝 摘要（中文）

世界行动模型（WAMs）利用预训练视频扩散模型的预测知识进行机器人控制，但迭代视频去噪成本高且视觉预测不准确会影响行动预测。本文提出DreamFree，通过从当前观察中计算视觉表示，使得无需生成未来视频即可进行行动预测。DreamFree将预训练的视频扩散模型重新用于作为预测视觉编码器，通过表示蒸馏学习。实验表明，DreamFree在真实和模拟任务中均优于现有的最先进的视觉-语言代理（VLA）和WAMs，能够以11Hz的速度实现实时闭环控制，并且能够从不同体现的视频演示中学习新任务，无需新任务的动作注释。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在机器人控制中依赖视频预测所带来的高计算成本和不准确性的问题。现有方法在进行视频去噪时效率低下，影响了行动预测的准确性。

核心思路：DreamFree的核心思路是通过从当前观察中提取视觉表示，利用预训练的视频扩散模型的知识进行行动预测，而不需要生成未来的视频。这种方法降低了计算成本，提高了预测的准确性。

技术框架：DreamFree的整体架构包括两个主要模块：视觉编码器和行动模块。视觉编码器通过表示蒸馏学习，预测冻结的视频扩散模型的表示；行动模块则从视觉编码器中提取与动作相关的信息进行行动预测。

关键创新：最重要的技术创新在于将预训练的视频扩散模型转化为预测视觉编码器，通过表示蒸馏实现了无需视频生成的行动预测。这一方法与现有依赖视频生成的模型本质上不同。

关键设计：在设计中，视觉编码器的训练采用了特定的损失函数，以确保其能够准确预测视频扩散模型的表示。此外，网络结构经过优化，以适应实时控制的需求，确保在11Hz的频率下运行。

📊 实验亮点

实验结果表明，DreamFree在真实和模拟任务中的成功率高于现有的视觉-语言代理（VLA）和世界行动模型（WAMs），实现了11Hz的实时闭环控制，展示了其在机器人控制中的优越性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能家居等场景，能够显著提升机器人在复杂环境中的自主决策能力。未来，DreamFree有望在多模态学习和人机交互等领域发挥更大作用，推动智能系统的进一步发展。

📄 摘要（原文）

World Action Models (WAMs) use the predictive knowledge of pretrained video diffusion models for robot control through future video prediction. However, iterative video denoising is costly, and inaccurate visual predictions can compromise action prediction. Our key idea is to make this predictive knowledge available through visual representations computed from the current observation, enabling action prediction without generating future videos. We introduce DreamFree, a WAM that repurposes a pretrained video diffusion model as a predictive visual encoder through representation distillation. The visual encoder learns to predict a frozen video diffusion model's representation using only the current observation. An action module is then trained to predict actions by extracting action-relevant information from the visual encoder. Across real-world and simulated tasks, DreamFree achieves higher success rates than state-of-the-art VLAs and WAMs, while performing real-time closed-loop control at 11Hz with a 14B video diffusion backbone. Experiments show that DreamFree can translate stronger video priors and additional video data into better robot control and enable learning new robot tasks from video demonstrations, including videos from a different embodiment, without action annotation for the new tasks.