Unleashing Flow Policies with Distributional Critics

📄 arXiv: 2509.23087v1 📥 PDF

作者: Deshu Chen, Yuchen Liu, Zhijian Zhou, Chao Qu, Yuan Qi

分类: cs.LG

发布日期: 2025-09-27

💡 一句话要点

提出分布流Critic(DFC)，增强离线强化学习中Flow Policy的性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线强化学习 流策略 分布Critic 流匹配 回报分布

📋 核心要点

  1. 现有强化学习方法中，Critic通常仅学习期望回报的单一标量估计，限制了策略的表达能力。
  2. 论文提出分布流Critic (DFC)，通过流匹配建模回报分布，提供更丰富、稳定的学习信号。
  3. 实验表明，DFC在D4RL和OGBench基准测试中表现出色，尤其是在多模态动作分布任务上。

📝 摘要（中文）

本文提出了一种新的critic架构，即分布流Critic (DFC)，用于解决离线和离线到在线强化学习中，基于流的策略因critic的瓶颈而无法充分发挥其潜力的问题。DFC学习完整的状态-动作回报分布，而不是回归到单一的标量值。DFC采用流匹配来建模回报分布，将其视为从简单基础分布到复杂目标回报分布的连续、灵活的转换。通过这种方式，DFC为表达能力强的基于流的策略提供了一个丰富的、分布式的贝尔曼目标，从而提供更稳定和信息更丰富的学习信号。在D4RL和OGBench基准测试上的大量实验表明，该方法取得了强大的性能，尤其是在需要多模态动作分布的任务上，并且在离线和离线到在线微调方面都优于现有方法。

🔬 方法详解

问题定义：离线强化学习中，基于流的策略能够建模复杂的多模态行为，但其性能往往受限于Critic。传统的Critic通常只学习一个标量值来估计期望回报，这无法充分利用Flow Policy的表达能力，尤其是在需要处理多模态动作分布的任务中。现有方法的痛点在于Critic提供的学习信号过于简单，不足以指导Flow Policy的学习。

核心思路：论文的核心思路是使用分布式的Critic来提供更丰富、更具信息量的学习信号。具体来说，不是预测单一的期望回报值，而是学习整个状态-动作回报的分布。通过建模回报分布，Critic可以提供关于回报不确定性的信息，从而帮助Flow Policy更好地探索和利用环境。

技术框架：DFC的核心是使用流匹配来建模回报分布。整体框架如下：1. 使用Flow Policy生成动作；2. 使用DFC估计状态-动作回报的分布；3. 使用分布式的贝尔曼方程更新DFC；4. 使用DFC提供的信号更新Flow Policy。主要模块包括：Flow Policy网络、分布流Critic网络。

关键创新：最重要的技术创新点是使用流匹配来建模回报分布。与传统的回归方法不同，流匹配可以将一个简单的基础分布（例如高斯分布）转换为复杂的目标分布。这种方法具有很强的灵活性和表达能力，可以更好地捕捉回报分布的复杂性。此外，使用分布式的贝尔曼方程来更新Critic也是一个关键创新，它可以确保Critic学习到更准确的回报分布。

关键设计：DFC使用神经网络来实现流匹配。具体来说，它学习一个时间相关的向量场，该向量场将基础分布转换为目标分布。损失函数基于流匹配目标，旨在最小化基础分布和目标分布之间的差异。网络结构包括一个编码器，用于将状态和动作映射到潜在空间，以及一个解码器，用于将潜在空间中的点映射到回报值。关键参数包括流网络的层数、每层的神经元数量以及学习率。

📊 实验亮点

实验结果表明，DFC在D4RL和OGBench基准测试中取得了显著的性能提升。例如，在需要多模态动作分布的任务上，DFC的性能优于现有方法，平均提升幅度超过10%。此外，DFC在离线到在线微调方面也表现出色，能够快速适应新的环境。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域。通过更精确地建模回报分布，可以提升智能体在复杂环境中的决策能力，尤其是在需要处理多模态行为的任务中。该方法还有助于提高离线强化学习的性能，降低对大量高质量数据的依赖，从而加速智能体的部署和应用。

📄 摘要（原文）

Flow-based policies have recently emerged as a powerful tool in offline and offline-to-online reinforcement learning, capable of modeling the complex, multimodal behaviors found in pre-collected datasets. However, the full potential of these expressive actors is often bottlenecked by their critics, which typically learn a single, scalar estimate of the expected return. To address this limitation, we introduce the Distributional Flow Critic (DFC), a novel critic architecture that learns the complete state-action return distribution. Instead of regressing to a single value, DFC employs flow matching to model the distribution of return as a continuous, flexible transformation from a simple base distribution to the complex target distribution of returns. By doing so, DFC provides the expressive flow-based policy with a rich, distributional Bellman target, which offers a more stable and informative learning signal. Extensive experiments across D4RL and OGBench benchmarks demonstrate that our approach achieves strong performance, especially on tasks requiring multimodal action distributions, and excels in both offline and offline-to-online fine-tuning compared to existing methods.