Multistep Quasimetric Learning for Scalable Goal-conditioned Reinforcement Learning

📄 arXiv: 2511.07730v2 📥 PDF

作者: Bill Chunyuan Zheng, Vivek Myers, Benjamin Eysenbach, Sergey Levine

分类: cs.LG, cs.RO

发布日期: 2025-11-11 (更新: 2025-11-14)

💡 一句话要点

提出多步准度量学习，解决可扩展的、长时程目标条件强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 目标条件强化学习 准度量学习 多步回报 长时程任务 机器人操作

📋 核心要点

  1. 现有目标条件强化学习（GCRL）方法在长时程任务中面临挑战，难以准确估计观测间的时间距离。
  2. 论文提出一种基于多步蒙特卡洛回报的准度量学习方法，旨在更有效地学习观测间的距离度量。
  3. 实验表明，该方法在长时程模拟任务和真实机器人操作任务中，均优于现有GCRL方法。

📝 摘要（中文）

在环境中学习如何达到目标是人工智能领域一个长期存在的挑战，然而，对于现代方法来说，在长时程上进行推理仍然是一个难题。关键问题是如何估计观测对之间的时间距离。虽然时序差分方法利用局部更新来提供最优性保证，但它们通常比执行全局更新的蒙特卡洛方法（例如，使用多步回报）表现更差，而蒙特卡洛方法缺乏这种保证。我们展示了如何将这些方法集成到一个实用的GCRL方法中，该方法使用多步蒙特卡洛回报来拟合准度量距离。我们表明，我们的方法在长时程模拟任务（最多4000步）上优于现有的GCRL方法，即使使用视觉观测也是如此。我们还证明了我们的方法可以在真实世界的机器人操作领域（Bridge设置）中实现拼接。我们的方法是第一个端到端的GCRL方法，可以在这个真实世界的操作领域中，从视觉观测的无标签离线数据集中实现多步拼接。

🔬 方法详解

问题定义：论文旨在解决目标条件强化学习（GCRL）中，智能体在长时程任务中难以有效学习的问题。现有方法，如时序差分方法，虽然具有局部最优性保证，但在长时程任务中表现不佳。而蒙特卡洛方法虽然能进行全局更新，但缺乏理论保证，且方差较高。因此，如何结合两者的优点，设计一种既能有效利用全局信息，又能保证学习稳定性的GCRL方法是本论文要解决的核心问题。

核心思路：论文的核心思路是将时序差分方法的局部更新和蒙特卡洛方法的多步回报相结合，通过多步蒙特卡洛回报来学习一个准度量距离函数。该准度量距离函数能够更准确地估计观测之间的时序距离，从而指导智能体更好地完成长时程任务。这种结合利用了蒙特卡洛方法的全局信息，同时通过准度量学习来约束学习过程，提高学习的稳定性和效率。

技术框架：该方法主要包含以下几个阶段：1）从离线数据集中采样状态、目标和动作序列；2）使用多步蒙特卡洛回报计算状态和目标之间的回报；3）使用准度量学习方法，训练一个神经网络来预测状态和目标之间的距离，该距离与多步蒙特卡洛回报相一致；4）使用学习到的距离函数作为奖励函数，训练强化学习策略。整体框架是一个端到端的GCRL流程，可以从无标签的离线数据集中学习。

关键创新：论文的关键创新在于将多步蒙特卡洛回报引入到准度量学习中，并将其应用于GCRL。与传统的准度量学习方法不同，该方法利用多步回报来提供更丰富的监督信号，从而学习到更准确的距离度量。此外，该方法是第一个端到端的GCRL方法，可以在真实世界的机器人操作领域中，从视觉观测的无标签离线数据集中实现多步拼接。

关键设计：论文使用神经网络来表示准度量距离函数，损失函数采用均方误差损失，用于衡量预测距离与多步蒙特卡洛回报之间的差异。多步回报的步数是一个关键参数，需要根据任务的长度进行调整。网络结构的选择也需要根据具体任务进行调整，例如，对于视觉任务，可以使用卷积神经网络来提取图像特征。此外，为了提高学习的稳定性，可以使用一些正则化技术，例如权重衰减和dropout。

📊 实验亮点

该方法在长时程模拟任务（最长4000步）中，显著优于现有的GCRL方法。在真实世界的机器人操作任务（Bridge setup）中，该方法成功实现了多步拼接，这是第一个端到端的GCRL方法在该领域取得的成果。实验结果表明，该方法能够有效地学习环境中的距离度量，并将其应用于长时程任务。

🎯 应用场景

该研究成果可广泛应用于机器人操作、自动驾驶、游戏AI等领域。通过学习环境中的距离度量，智能体可以更好地规划路径、完成复杂任务。特别是在真实机器人操作领域，该方法能够从无标签的离线数据中学习，降低了数据收集的成本，加速了机器人智能化的进程。未来，该方法有望应用于更复杂的环境和任务，例如多智能体协作、人机交互等。

📄 摘要（原文）

Learning how to reach goals in an environment is a longstanding challenge in AI, yet reasoning over long horizons remains a challenge for modern methods. The key question is how to estimate the temporal distance between pairs of observations. While temporal difference methods leverage local updates to provide optimality guarantees, they often perform worse than Monte Carlo methods that perform global updates (e.g., with multi-step returns), which lack such guarantees. We show how these approaches can be integrated into a practical GCRL method that fits a quasimetric distance using a multistep Monte-Carlo return. We show our method outperforms existing GCRL methods on long-horizon simulated tasks with up to 4000 steps, even with visual observations. We also demonstrate that our method can enable stitching in the real-world robotic manipulation domain (Bridge setup). Our approach is the first end-to-end GCRL method that enables multistep stitching in this real-world manipulation domain from an unlabeled offline dataset of visual observations.