Ambient Diffusion Policy: Imitation Learning from Suboptimal Data in Robotics

📄 arXiv: 2606.12365v1 📥 PDF

作者: Adam Wei, Nicholas Pfaff, Thomas Cohn, Arif Kerem Dayı, Constantinos Daskalakis, Giannis Daras, Russ Tedrake

分类: cs.RO, cs.AI

发布日期: 2026-06-10

备注: 14 pages (main body), 52 pages total. Project website: https://ambient-diffusion-policy.github.io/

💡 一句话要点

提出环境扩散策略以解决机器人模仿学习中的次优数据问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 次优数据 机器人技术 环境扩散策略 数据利用 机器学习 智能系统

📋 核心要点

  1. 现有方法在处理次优数据时，无法有效区分有用特征与有害特征，导致学习效果不佳。
  2. 论文提出的环境扩散策略通过引入噪声依赖的数据使用，专注于提取次优数据中的有用特征。
  3. 实验结果显示，该方法在多种次优数据类型上表现优异，尤其在Open X-Embodiment数据集上超越现有基线33%。

📝 摘要（中文）

我们提出了环境扩散策略，这是一种简单而有原则的方法，用于从机器人中的次优数据进行模仿学习。高质量、特定任务的机器人数据收集成本高且耗时，而次优数据集则丰富且容易获取。现有方法在机器人领域中共同训练这两种数据源时，往往无法有效区分次优样本中的有意义特征和有害特征。相反，我们的方法通过引入噪声依赖的数据使用新轴，仅提取有用特征。环境扩散策略在训练过程中限制次优数据的贡献，仅在高和低扩散时间段进行训练。我们通过观察机器人动作数据的谱幂律来严格证明我们的方法，并利用这一特性进行理论化讨论。实验结果表明，该策略在多种次优动作数据上有效学习，并在规模扩大到Open X-Embodiment数据集时，性能提升可达33%。

🔬 方法详解

问题定义：本论文旨在解决机器人模仿学习中如何有效利用次优数据的问题。现有方法在共同训练高质量与次优数据时，往往无法有效区分其中的有用与有害特征，导致学习效果不理想。

核心思路：环境扩散策略的核心思路是通过引入噪声依赖的数据使用新轴，限制次优数据在训练中的贡献，仅在高和低扩散时间段进行训练，从而提取有用特征。

技术框架：该方法的整体架构包括数据预处理、特征提取、模型训练和评估四个主要模块。首先对次优数据进行预处理，然后提取有用特征，接着使用这些特征进行模型训练，最后通过评估验证模型性能。

关键创新：论文的关键创新在于引入噪声依赖的数据使用新轴，能够有效区分次优数据中的有用特征与有害特征，这与现有方法的共同训练策略有本质区别。

关键设计：在关键设计上，论文使用了谱幂律的观察来指导模型的设计，设定了特定的损失函数以优化有用特征的提取，并在网络结构上进行了相应的调整以适应不同类型的次优数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，环境扩散策略在处理四种类型的次优动作数据时表现优异，尤其在Open X-Embodiment数据集上，性能提升可达33%，显著优于现有的共同训练基线，展示了该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等场景，能够有效提升机器人在复杂环境中的学习能力和适应性。通过提高次优数据的利用效率，未来可能推动更广泛的机器人应用和智能系统的发展。

📄 摘要（原文）

We propose Ambient Diffusion Policy, a simple and principled method for imitation learning from suboptimal data in robotics. High-quality, task-specific robot data is expensive and time-consuming to collect, while suboptimal datasets with lower-quality or out-of-distribution demonstrations are abundant. Existing methods that co-train on both data sources in robotics often fail to separate the meaningful and the harmful features in the suboptimal samples. In contrast, our method extracts only the useful features by introducing a new axis to co-training in robotics: noise-dependent data usage. Ambient Diffusion Policy restricts the contribution of suboptimal data during training to only the high and low diffusion times. To rigorously justify our approach, we first observe that robot action data exhibits a spectral power law. This induces two important properties on the optimal Diffusion Policy that we exploit: a global-to-local hierarchy and locality. We theoretically formalize this discussion using a simplified model. Our experiments validate Ambient Diffusion Policy on four types of suboptimal action data (noisy trajectories, sim-to-real gap, task mismatch, and large-scale data mixtures) across six tasks. The results show that it effectively learns from arbitrary sources of suboptimal data. Notably, it outperforms existing co-training baselines by up to 33% when scaled to Open X-Embodiment - a large dataset with heterogeneous data quality and unstructured distribution shifts. Overall, Ambient Diffusion Policy increases the utility of suboptimal demonstrations and expands the set of usable data sources in robotics.