World Model Self-Distillation: Training World Models to Solve General Tasks
作者: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro
分类: cs.CV
发布日期: 2026-06-10
💡 一句话要点
提出自蒸馏框架以解决视频生成模型的任务执行问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 自蒸馏 强化学习 视觉-语言模型 任务执行 机器人技术 无监督学习
📋 核心要点
- 现有方法依赖详细文本描述，限制了视频生成模型在任务执行中的直接应用。
- 提出结合自蒸馏与强化学习的框架，通过视觉-语言模型生成任务和解决方案，提升模型的任务解决能力。
- 实验结果显示，执行器在多个基准测试中超越了演示者，且在机器人任务中表现优异。
📝 摘要（中文）
预训练的视频生成器作为视觉世界模型展现出解决任务的能力，但其对详细文本描述的依赖限制了其在规划和决策中的直接应用。现有方法通常依赖语言或视觉-语言模型进行推理，或通过监督微调与配对的任务执行视频，后者收集成本高且难以扩展。本文提出了一种可扩展的框架，通过结合自蒸馏与强化学习，激发模型的任务解决能力。给定未标记的场景图像，视觉-语言模型生成候选任务及详细解决方案，进而对预训练的视频扩散模型进行条件化，最终将行为蒸馏到仅依赖图像和简短任务提示的执行器中。实验表明，执行器在我们的VLM评估协议下超越了演示者，并在机器人任务中表现出竞争力。
🔬 方法详解
问题定义：本文旨在解决预训练视频生成模型在任务执行中的局限性，尤其是对详细文本描述的依赖，使得模型在规划和决策中难以直接应用。现有方法通常需要大量配对的任务执行视频，收集成本高且难以扩展。
核心思路：论文提出的核心思路是通过自蒸馏与强化学习相结合，利用视觉-语言模型生成任务和解决方案，从而在没有标注数据的情况下提升模型的任务执行能力。这样的设计使得模型能够在不依赖于大量标注数据的情况下进行有效的学习。
技术框架：整体架构包括三个主要模块：首先，视觉-语言模型根据未标记的场景图像生成候选任务和详细解决方案；其次，利用生成的解决方案对预训练的视频扩散模型进行条件化；最后，将生成的行为蒸馏到仅依赖图像和简短任务提示的执行器中。
关键创新：最重要的技术创新在于将自蒸馏与强化学习结合，成功实现了从文本指导生成到指令条件任务解决的知识转移，避免了对配对任务视频的需求。
关键设计：在设计中，采用了特定的损失函数以优化执行器的学习过程，并通过强化学习从视觉-语言模型的反馈中进一步提升执行器的性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，执行器在WorldTasks-Benchmark和DreamGen机器人基准测试中表现优异，超越了演示者，且在VLM评估协议下实现了显著的性能提升，展示了其在机器人任务中的竞争力。
🎯 应用场景
该研究的潜在应用领域包括机器人任务执行、自动化规划和智能决策系统。通过提升模型在无监督条件下的任务解决能力，未来可在多种实际场景中实现更高效的自动化操作，降低人工干预需求。
📄 摘要（原文）
Pretrained video generators are promising visual world models that exhibit emergent task-solving abilities; however, their reliance on detailed textual descriptions limits their direct use for planning and decision-making. Existing approaches either outsource this reasoning to language or vision-language models, or rely on supervised fine-tuning with paired task-execution videos, which are costly to collect and difficult to scale. We propose a scalable framework that elicits task-solving ability in such models by combining self-distillation with reinforcement learning. Given an unlabeled scene image, a vision-language model generates a candidate task and a detailed step-by-step solution. The solution conditions a pretrained video diffusion model, the Demonstrator; we distill its behavior into an Executor conditioned only on the image and a short task prompt. This transfers execution knowledge from caption-guided generation to instruction-conditioned task solving without curated task-video supervision. We further improve the Executor with reinforcement learning from VLM feedback, exploiting the asymmetry between judging whether a sampled video satisfies a task and generating the solution. Experiments on our proposed WorldTasks-Benchmark and the DreamGen robotics benchmark show that the Executor surpasses the Demonstrator under our VLM-based evaluation protocol and transfers competitively to robotic tasks.