AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies

📄 arXiv: 2402.04292v2 📥 PDF

作者: Xixi Hu, Bo Liu, Xingchao Liu, Qiang Liu

分类: cs.LG, cs.AI

发布日期: 2024-02-06 (更新: 2024-11-22)

备注: NeuRIPS 2024

💡 一句话要点

提出AdaFlow以解决多模态决策的高效模仿学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 流生成建模 常微分方程 多模态决策 方差自适应

📋 核心要点

  1. 现有的扩散基础模仿学习方法在多模态决策中表现良好，但推理速度慢，限制了其实际应用。
  2. 本文提出AdaFlow，通过流生成建模和状态条件的常微分方程来表示策略，解决了推理速度与多样性之间的矛盾。
  3. 实验结果表明，AdaFlow在推理速度上显著提升，同时保持了高性能，适用于多种决策场景。

📝 摘要（中文）

基于扩散的模仿学习在多模态决策中优于行为克隆（BC），但由于扩散过程中的递归，推理速度显著降低。为此，本文提出了AdaFlow，一个基于流生成建模的模仿学习框架。AdaFlow通过状态条件的常微分方程（ODEs）表示策略，揭示了训练损失的条件方差与ODE离散化误差之间的有趣联系。基于此，提出了一种方差自适应的ODE求解器，能够在推理阶段调整步长，使AdaFlow成为一种自适应决策者，快速推理而不牺牲多样性。实验证明，AdaFlow在保持高性能的同时实现了快速推理。

🔬 方法详解

问题定义：现有的扩散基础模仿学习方法在多模态决策中虽然表现优异，但由于递归过程导致推理速度显著降低，限制了其实际应用。

核心思路：本文提出AdaFlow，通过流生成建模的方式，利用状态条件的常微分方程（ODEs）来表示策略，旨在提高推理效率并保持多样性。

技术框架：AdaFlow的整体架构包括方差自适应的ODE求解器，该求解器能够在推理阶段根据条件方差调整步长，从而实现快速推理。主要模块包括策略生成模块和自适应求解模块。

关键创新：最重要的技术创新在于提出了一种方差自适应的ODE求解器，能够动态调整步长，解决了推理速度与多样性之间的矛盾。这一设计使得在处理单模态分布时，AdaFlow能够自动简化为一步生成器。

关键设计：在设计中，采用了状态条件的常微分方程来表示策略，并引入了与训练损失条件方差相关的离散化误差分析，以优化ODE求解器的步长调整策略。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，AdaFlow在多个基准测试中表现出色，推理速度较传统扩散模型提高了显著的幅度，同时在多模态决策任务中保持了高性能，验证了其有效性和实用性。

🎯 应用场景

AdaFlow的研究成果在多模态决策系统中具有广泛的应用潜力，特别是在机器人控制、自动驾驶和智能助手等领域。通过提高推理速度和保持决策多样性，AdaFlow能够在实时决策场景中提供更高效的解决方案，推动智能系统的进一步发展。

📄 摘要（原文）

Diffusion-based imitation learning improves Behavioral Cloning (BC) on multi-modal decision-making, but comes at the cost of significantly slower inference due to the recursion in the diffusion process. It urges us to design efficient policy generators while keeping the ability to generate diverse actions. To address this challenge, we propose AdaFlow, an imitation learning framework based on flow-based generative modeling. AdaFlow represents the policy with state-conditioned ordinary differential equations (ODEs), which are known as probability flows. We reveal an intriguing connection between the conditional variance of their training loss and the discretization error of the ODEs. With this insight, we propose a variance-adaptive ODE solver that can adjust its step size in the inference stage, making AdaFlow an adaptive decision-maker, offering rapid inference without sacrificing diversity. Interestingly, it automatically reduces to a one-step generator when the action distribution is uni-modal. Our comprehensive empirical evaluation shows that AdaFlow achieves high performance with fast inference speed.