Pixel Motion Diffusion is What We Need for Robot Control

📄 arXiv: 2509.22652v1 📥 PDF

作者: E-Ro Nguyen, Yichi Zhang, Kanchana Ranasinghe, Xiang Li, Michael S. Ryoo

分类: cs.RO, cs.CV

发布日期: 2025-09-26

备注: 16 pages, 7 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DAWN：基于像素运动扩散的机器人控制统一框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人控制 扩散模型 像素运动 语言条件 端到端学习

📋 核心要点

  1. 现有机器人控制方法难以有效桥接高层意图和底层动作，缺乏可解释的中间运动抽象。
  2. DAWN框架将高层和底层控制建模为扩散过程，通过像素运动表示连接意图和动作，实现端到端训练。
  3. DAWN在CALVIN和MetaWorld基准测试中表现出色，并成功迁移到真实机器人，验证了其有效性。

📝 摘要（中文）

本文提出DAWN（Diffusion is All We Need for robot control），一个统一的、基于扩散模型的、以语言为条件的机器人操作框架。DAWN通过结构化的像素运动表示，桥接了高层运动意图和底层机器人动作。在DAWN中，高层和底层控制器都被建模为扩散过程，从而产生一个完全可训练的、端到端的系统，并具有可解释的中间运动抽象。DAWN在具有挑战性的CALVIN基准测试中取得了最先进的结果，展示了强大的多任务性能，并在MetaWorld上进一步验证了其有效性。尽管仿真和现实之间存在巨大的领域差距，并且真实世界数据有限，但我们仅通过最少的微调就展示了可靠的真实世界迁移，说明了基于扩散的运动抽象在机器人控制中的实际可行性。我们的结果表明，将扩散建模与以运动为中心的表示相结合，可以作为可扩展和鲁棒的机器人学习的强大基线。

🔬 方法详解

问题定义：现有机器人控制方法通常难以在高层语言指令和底层机器人动作之间建立有效的映射关系，尤其是在复杂的多任务环境中。此外，缺乏对中间运动状态的有效抽象和表示，导致模型的可解释性和泛化能力受限。领域迁移问题，即从仿真环境到真实环境的性能下降，也是一个重要的挑战。

核心思路：DAWN的核心思路是将机器人控制问题建模为一个扩散过程，利用扩散模型强大的生成能力来学习从高层语言指令到低层机器人动作的映射。通过引入像素运动表示作为中间抽象，DAWN能够更好地捕捉运动的结构化信息，并提高模型的可解释性。将高层和底层控制都建模为扩散过程，实现了端到端的训练，避免了传统方法中复杂的模块化设计。

技术框架：DAWN框架包含两个主要的扩散模型：高层运动规划器和低层动作执行器。高层运动规划器以语言指令为输入，生成像素运动表示序列，描述期望的运动轨迹。低层动作执行器以像素运动表示序列为输入，生成机器人关节控制指令。这两个扩散模型通过端到端的方式进行训练，共同优化整个控制系统的性能。框架还包括一个重构模块，用于将像素运动表示重构为视觉图像，以提高模型的可解释性。

关键创新：DAWN的关键创新在于将扩散模型应用于机器人控制，并引入了像素运动表示作为中间抽象。与传统的基于强化学习或行为克隆的方法相比，DAWN能够更好地处理多模态的运动轨迹，并具有更强的泛化能力。端到端的训练方式简化了系统的设计和优化过程。

关键设计：DAWN使用条件扩散模型，其中语言指令作为条件输入。像素运动表示采用光流的形式，捕捉图像中像素的运动信息。损失函数包括扩散模型的重建损失和动作执行的奖励函数。网络结构采用U-Net架构，用于处理图像和序列数据。为了实现真实世界的迁移，DAWN采用了少量真实世界数据进行微调。

📊 实验亮点

DAWN在CALVIN基准测试中取得了最先进的结果，显著优于现有的方法。在MetaWorld上的实验也验证了DAWN的有效性。更重要的是，DAWN仅通过少量真实世界数据的微调，就成功地迁移到真实机器人，展示了其强大的泛化能力和实际应用潜力。

🎯 应用场景

DAWN框架具有广泛的应用前景，可用于各种机器人操作任务，例如家庭服务机器人、工业机器人和自动驾驶汽车。该框架能够使机器人更好地理解人类的指令，并执行复杂的任务。通过结合视觉信息和语言指令，DAWN可以实现更智能、更灵活的机器人控制。

📄 摘要（原文）

We present DAWN (Diffusion is All We Need for robot control), a unified diffusion-based framework for language-conditioned robotic manipulation that bridges high-level motion intent and low-level robot action via structured pixel motion representation. In DAWN, both the high-level and low-level controllers are modeled as diffusion processes, yielding a fully trainable, end-to-end system with interpretable intermediate motion abstractions. DAWN achieves state-of-the-art results on the challenging CALVIN benchmark, demonstrating strong multi-task performance, and further validates its effectiveness on MetaWorld. Despite the substantial domain gap between simulation and reality and limited real-world data, we demonstrate reliable real-world transfer with only minimal finetuning, illustrating the practical viability of diffusion-based motion abstractions for robotic control. Our results show the effectiveness of combining diffusion modeling with motion-centric representations as a strong baseline for scalable and robust robot learning. Project page: https://nero1342.github.io/DAWN/