Reversal Q-Learning

📄 arXiv: 2606.17551v1 📥 PDF

作者: Aditya Oberai, Seohong Park, Sergey Levine

分类: cs.LG, cs.AI

发布日期: 2026-06-16

💡 一句话要点

提出Reversal Q-Learning以提升离线强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 流匹配 马尔可夫决策过程 机器人控制 虚拟轨迹生成 偏差方差减少 策略学习

📋 核心要点

  1. 现有的基于流的强化学习方法在处理复杂行为时面临时间反向传播的挑战，影响了学习效率。
  2. 本文提出的Reversal Q-Learning通过将流的细化步骤视为独立动作，结合虚拟轨迹生成和偏差方差减少技术，优化了离线强化学习过程。
  3. 实验结果表明，RQL在50个模拟机器人任务中表现优异，平均性能超越了当前最先进的流基算法。

📝 摘要（中文）

迭代生成建模技术（如流匹配）为有效的离线强化学习提供了强大的工具。本文提出了一种新的离线强化学习算法Reversal Q-Learning（RQL），该算法基于先前数据训练流策略。我们从“扩展”的马尔可夫决策过程（MDP）框架出发，将每个流的细化步骤视为MDP中的独立动作。为实现该框架下的离线强化学习，我们生成虚拟的在线轨迹（通过“反转”流）以兼容先前数据，并应用偏差与方差减少技术以缓解离线强化学习中的时间诅咒。通过在50个具有挑战性的模拟机器人任务上的实验，我们展示了RQL在离线强化学习性能上优于现有的基于流的算法。

🔬 方法详解

问题定义：本文旨在解决现有基于流的强化学习方法在处理复杂行为时的效率低下问题，尤其是时间反向传播带来的挑战。

核心思路：Reversal Q-Learning通过将流的细化步骤视为独立动作，利用虚拟在线轨迹生成和偏差方差减少技术，增强了离线强化学习的效果。

技术框架：该方法基于扩展的马尔可夫决策过程（MDP）框架，主要包括流策略训练、虚拟轨迹生成和偏差方差减少三个模块。

关键创新：RQL的主要创新在于其不依赖于时间反向传播，能够更好地利用学习到的价值函数，并直接训练全流策略，这与现有方法有本质区别。

关键设计：在参数设置上，RQL采用了特定的损失函数以优化策略学习，同时设计了适应性的网络结构以处理复杂的行为建模。通过这些设计，RQL在离线强化学习中实现了显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在50个模拟机器人任务的实验中，Reversal Q-Learning展现出最佳的平均离线强化学习性能，相较于最先进的流基算法，其性能提升幅度显著，具体数据未详述。

🎯 应用场景

Reversal Q-Learning的研究成果在机器人控制、自动驾驶、游戏AI等领域具有广泛的应用潜力。通过提升离线强化学习的效率，该算法能够在数据稀缺的情况下实现更高效的策略学习，推动智能系统的自主决策能力。

📄 摘要（原文）

Iterative generative modeling techniques, such as flow matching, provide powerful tools to model complex behaviors for effective offline reinforcement learning (RL). In this work, we propose a new off-policy RL algorithm that trains a flow policy based on prior data. Our idea starts from the "expanded" Markov decision process (MDP) framework, which treats individual flow refinement steps as separate actions in an MDP. To enable off-policy RL within this framework, we apply two techniques: we generate virtual on-policy trajectories (by "reversing" flows) to make this framework compatible with prior data, and we apply a bias-and-variance reduction technique to mitigate the curse of horizon in off-policy RL. We call the resulting algorithm Reversal Q-learning (RQL). RQL has several advantages over previous flow-based RL methods: it does not suffer from backpropagation through time, makes better use of the learned value function, and directly trains the full, expressive flow policy. Through our experiments on 50 challenging simulated robotic tasks, we show that RQL leads to the best average offline RL performance compared to state-of-the-art flow-based offline RL algorithms.