Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training
作者: Haoran He, Chenjia Bai, Ling Pan, Weinan Zhang, Bin Zhao, Xuelong Li
分类: cs.LG, cs.CV, cs.RO
发布日期: 2024-02-22 (更新: 2024-10-09)
备注: Accepted by NeurIPS 2024. 24 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出统一离散扩散策略以解决机器人任务学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 离散扩散模型 无动作视频 机器人学习 多任务学习 视频预训练
📋 核心要点
- 现有方法面临的核心问题是缺乏足够的标注动作的机器人数据集，导致机器人学习的困难。
- 论文提出的解决方案是通过统一离散扩散模型，将无动作人类视频与少量标注机器人视频结合进行预训练和微调。
- 实验结果显示，该方法在生成未来视频和提升策略性能方面，相较于现有最先进的方法具有显著优势。
📝 摘要（中文）
学习能够完成多任务的通用体代理面临挑战，主要源于缺乏标注动作的机器人数据集。相对而言，大量人类视频记录了复杂的任务和与物理世界的互动。本文提出了一种新框架，利用无动作人类视频进行预训练，并将知识转移以促进机器人策略学习。通过压缩人类和机器人视频为统一的视频标记，采用离散扩散模型进行未来视频标记的预测，并利用想象的未来视频指导低级动作学习。实验结果表明，该方法生成高保真未来视频并提升了策略性能。
🔬 方法详解
问题定义：本文旨在解决机器人学习多任务时缺乏标注数据的问题。现有方法依赖于有限的动作标注数据，难以有效学习复杂任务。
核心思路：论文的核心思路是利用无动作人类视频进行预训练，通过离散扩散模型生成未来视频，从而弥补机器人数据的不足。这样的设计可以有效利用丰富的人类视频数据，减少对标注数据的依赖。
技术框架：整体架构包括两个主要阶段：预训练和微调。在预训练阶段，使用离散扩散模型对人类视频进行处理；在微调阶段，利用生成的未来视频指导机器人在少量标注数据上的学习。
关键创新：最重要的技术创新在于引入了统一的离散扩散模型，结合了生成预训练和策略微调的过程。这一方法与传统的依赖于大量标注数据的学习方式有本质区别。
关键设计：在模型设计上，采用了掩码替换的扩散策略，并通过压缩视频为统一标记来提高信息提取的效率。损失函数的设计也考虑了生成视频的高保真性，以确保策略学习的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在生成未来视频的保真度上显著优于现有方法，且在策略微调阶段，相较于最先进的基线方法，性能提升幅度达到20%以上，显示出更强的任务执行能力。
🎯 应用场景
该研究的潜在应用领域包括机器人自主导航、智能家居助手以及复杂任务的自动化执行。通过有效利用无标注视频数据，未来可以大幅降低机器人学习的成本和时间，提高其在多任务环境中的适应能力。
📄 摘要（原文）
Learning a generalist embodied agent capable of completing multiple tasks poses challenges, primarily stemming from the scarcity of action-labeled robotic datasets. In contrast, a vast amount of human videos exist, capturing intricate tasks and interactions with the physical world. Promising prospects arise for utilizing actionless human videos for pre-training and transferring the knowledge to facilitate robot policy learning through limited robot demonstrations. However, it remains a challenge due to the domain gap between humans and robots. Moreover, it is difficult to extract useful information representing the dynamic world from human videos, because of its noisy and multimodal data structure. In this paper, we introduce a novel framework to tackle these challenges, which leverages a unified discrete diffusion to combine generative pre-training on human videos and policy fine-tuning on a small number of action-labeled robot videos. We start by compressing both human and robot videos into unified video tokens. In the pre-training stage, we employ a discrete diffusion model with a mask-and-replace diffusion strategy to predict future video tokens in the latent space. In the fine-tuning stage, we harness the imagined future videos to guide low-level action learning with a limited set of robot data. Experiments demonstrate that our method generates high-fidelity future videos for planning and enhances the fine-tuned policies compared to previous state-of-the-art approaches with superior performance. Our project website is available at https://video-diff.github.io/.