PIPER: Primitive-Informed Preference-based Hierarchical Reinforcement Learning via Hindsight Relabeling

📄 arXiv: 2404.13423v2 📥 PDF

作者: Utsav Singh, Wesley A. Suttle, Brian M. Sadler, Vinay P. Namboodiri, Amrit Singh Bedi

分类: cs.LG

发布日期: 2024-04-20 (更新: 2024-06-16)

💡 一句话要点

提出PIPER以解决层次强化学习中的非平稳性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次强化学习 稀疏奖励 偏好学习 后视重标定 机器人控制 非平稳性 策略生成

📋 核心要点

  1. 现有的层次强化学习方法常常面临非平稳性的问题，导致学习过程不稳定，性能下降。
  2. PIPER通过引入基于偏好的学习和后视重标定，构建了一个新的奖励模型，旨在缓解非平稳性。
  3. 实验结果显示，PIPER在稀疏奖励的机器人环境中成功率超过50%，显著优于其他基线方法。

📝 摘要（中文）

本文介绍了PIPER：一种基于偏好的层次强化学习方法，通过后视重标定来利用偏好学习以构建奖励模型，并利用该模型重标定高层重放缓冲区。由于该奖励不受低层原始行为的影响，重标定方法能够缓解现有层次方法中的非平稳性，并在一系列具有挑战性的稀疏奖励任务中展示了出色的性能。我们提出的原始反馈生成方法替代了人类反馈，利用环境提供的稀疏奖励生成反馈。此外，为了防止不可行的子目标预测和避免退化解，我们提出了原始信息正则化，条件化高层策略生成低层策略的可行子目标。实验表明，PIPER有效缓解了层次强化学习中的非平稳性，在具有挑战性的稀疏奖励机器人环境中成功率超过50%，而大多数基线方法未能取得显著进展。

🔬 方法详解

问题定义：本文旨在解决层次强化学习中的非平稳性问题，现有方法在面对稀疏奖励任务时表现不佳，学习过程容易受到低层行为的影响，导致策略不稳定。

核心思路：PIPER的核心思想是通过构建一个基于偏好的奖励模型，利用后视重标定技术来重标定高层重放缓冲区，从而减少低层行为对学习过程的影响。该方法通过原始反馈生成替代人类反馈，利用环境提供的稀疏奖励进行学习。

技术框架：PIPER的整体架构包括三个主要模块：偏好学习模块、后视重标定模块和高层策略生成模块。偏好学习模块负责从环境中获取稀疏奖励并构建奖励模型，后视重标定模块则利用该模型重标定高层重放缓冲区，最后高层策略生成模块根据重标定后的信息生成可行的低层子目标。

关键创新：PIPER的主要创新在于引入了原始信息正则化，确保高层策略生成的子目标对低层策略是可行的，从而避免了不可行的子目标预测和退化解的出现。这一设计与现有方法的根本区别在于其有效缓解了非平稳性问题。

关键设计：在技术细节上，PIPER采用了特定的损失函数来优化奖励模型，并在高层策略生成中引入了正则化项，以确保生成的子目标的可行性。此外，网络结构设计上，采用了层次化的策略网络，使得高层和低层策略能够有效协同工作。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PIPER在稀疏奖励的机器人环境中取得了超过50%的成功率，显著高于大多数基线方法的表现。这一成果证明了PIPER在缓解层次强化学习中非平稳性问题方面的有效性，展示了其在复杂任务中的应用潜力。

🎯 应用场景

PIPER的研究成果在机器人控制、自动驾驶、智能制造等领域具有广泛的应用潜力。通过有效地处理稀疏奖励问题，PIPER能够提升机器人在复杂环境中的自主学习能力，进而推动智能系统的实际应用和发展。未来，PIPER的框架也可以扩展到其他需要层次决策的领域，如游戏AI和人机交互等。

📄 摘要（原文）

In this work, we introduce PIPER: Primitive-Informed Preference-based Hierarchical reinforcement learning via Hindsight Relabeling, a novel approach that leverages preference-based learning to learn a reward model, and subsequently uses this reward model to relabel higher-level replay buffers. Since this reward is unaffected by lower primitive behavior, our relabeling-based approach is able to mitigate non-stationarity, which is common in existing hierarchical approaches, and demonstrates impressive performance across a range of challenging sparse-reward tasks. Since obtaining human feedback is typically impractical, we propose to replace the human-in-the-loop approach with our primitive-in-the-loop approach, which generates feedback using sparse rewards provided by the environment. Moreover, in order to prevent infeasible subgoal prediction and avoid degenerate solutions, we propose primitive-informed regularization that conditions higher-level policies to generate feasible subgoals for lower-level policies. We perform extensive experiments to show that PIPER mitigates non-stationarity in hierarchical reinforcement learning and achieves greater than 50$\%$ success rates in challenging, sparse-reward robotic environments, where most other baselines fail to achieve any significant progress.