Diffusion Meets DAgger: Supercharging Eye-in-hand Imitation Learning

📄 arXiv: 2402.17768v2 📥 PDF

作者: Xiaoyu Zhang, Matthew Chang, Pranav Kumar, Saurabh Gupta

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2024-02-27 (更新: 2024-06-05)

备注: Accepted by Robotics: Science and Systems (RSS) 2024. project website with video, see https://sites.google.com/view/diffusion-meets-dagger

💡 一句话要点

提出DMD以解决眼内手模仿学习中的执行错误问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 扩散模型 数据合成 机器人操作 策略训练

📋 核心要点

  1. 现有模仿学习方法在面对未见状态时容易产生执行错误，导致策略退化。
  2. DMD方法通过扩散模型合成样本，避免了高昂的数据收集成本，提升了学习效率。
  3. 在多个任务中，DMD的成功率显著高于传统行为克隆方法，表现出色。

📝 摘要（中文）

模仿学习中，训练出的策略在测试时常常会因未见过的状态而导致执行错误，进而产生退化行为。现有的Dataset Aggregation（DAgger）方法通过收集更多数据来覆盖这些失败状态，但在实际应用中成本高昂。本文提出了Diffusion Meets DAgger（DMD）方法，利用扩散模型的最新进展合成样本，从而在仅有少量示例的情况下实现稳健的性能。实验表明，DMD在多个任务中表现优异，相较于行为克隆基线，成功率显著提升。

🔬 方法详解

问题定义：本文旨在解决模仿学习中因未见状态导致的执行错误问题。现有的DAgger方法虽然有效，但在实际应用中收集数据的成本往往过高。

核心思路：DMD方法通过利用扩散模型生成合成样本，替代传统的数据收集方式，从而在少量示例的情况下提高策略的鲁棒性。

技术框架：DMD的整体架构包括样本合成模块和策略训练模块。首先，通过扩散模型生成新的状态样本，然后将这些样本与已有示例结合，训练出更为稳健的策略。

关键创新：DMD的核心创新在于将扩散模型应用于模仿学习中，显著降低了对真实数据的依赖，提升了学习效率和策略的泛化能力。

关键设计：在DMD中，关键的参数设置包括扩散模型的超参数和损失函数的设计，确保生成样本的质量与多样性。此外，网络结构经过优化，以适应合成样本的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个任务中，DMD方法表现出色：在推送任务中，成功率达到80%，而传统行为克隆仅为20%；在堆叠任务中，成功率为92%，而BC为40%；在倒咖啡豆任务中，成功率为80%；在挂衬衫任务中，成功率达到90%。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过提高模仿学习的效率和鲁棒性，DMD方法能够在实际应用中减少对专家示例的需求，从而降低训练成本，提升系统的适应能力和灵活性。

📄 摘要（原文）

A common failure mode for policies trained with imitation is compounding execution errors at test time. When the learned policy encounters states that are not present in the expert demonstrations, the policy fails, leading to degenerate behavior. The Dataset Aggregation, or DAgger approach to this problem simply collects more data to cover these failure states. However, in practice, this is often prohibitively expensive. In this work, we propose Diffusion Meets DAgger (DMD), a method to reap the benefits of DAgger without the cost for eye-in-hand imitation learning problems. Instead of collecting new samples to cover out-of-distribution states, DMD uses recent advances in diffusion models to synthesize these samples. This leads to robust performance from few demonstrations. We compare DMD against behavior cloning baseline across four tasks: pushing, stacking, pouring, and shirt hanging. In pushing, DMD achieves 80% success rate with as few as 8 expert demonstrations, where naive behavior cloning reaches only 20%. In stacking, DMD succeeds on average 92% of the time across 5 cups, versus 40% for BC. When pouring coffee beans, DMD transfers to another cup successfully 80% of the time. Finally, DMD attains 90% success rate for hanging shirt on a clothing rack.