HiER: Highlight Experience Replay for Boosting Off-Policy Reinforcement Learning Agents

📄 arXiv: 2312.09394v3 📥 PDF

作者: Dániel Horváth, Jesús Bujalance Martín, Ferenc Gábor Erdős, Zoltán Istenes, Fabien Moutarde

分类: cs.RO

发布日期: 2023-12-14 (更新: 2024-07-26)

备注: Published in IEEE Access

DOI: 10.1109/ACCESS.2024.3427012

💡 一句话要点

HiER：通过高亮经验回放提升离线强化学习智能体性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 经验回放 机器人 稀疏奖励 离线学习

📋 核心要点

  1. 机器人强化学习面临连续状态/动作空间和稀疏奖励的挑战，现有方法难以有效学习。
  2. HiER方法通过创建高亮经验回放缓冲区，选择性存储和重放重要经验，提升学习效率。
  3. 实验表明，HiER在多个机器人任务中显著提升了性能，并可与HER/PER等方法结合。

📝 摘要（中文）

尽管基于强化学习的算法在许多领域取得了超人的性能，但机器人领域由于状态和动作空间是连续的，并且奖励函数主要是稀疏的，因此提出了重大挑战。此外，在许多情况下，智能体无法获得任何形式的演示。受到人类学习的启发，我们提出了一种名为高亮经验回放（HiER）的方法，该方法为最相关的经验创建了一个辅助的高亮回放缓冲区。对于权重更新，转换是从标准和高亮经验回放缓冲区中采样的。它可以与后见之明经验回放（HER）和优先经验回放（PER）技术一起或不一起应用。我们的方法显着提高了最先进的性能，并在三个机器人基准测试的8个任务中得到了验证。此外，为了充分利用HiER的潜力，我们提出了HiER+，其中HiER通过任意数据收集课程学习方法得到增强。我们的实现、定性结果和一个视频演示可在项目网站上找到：http://www.danielhorvath.eu/hier/。

🔬 方法详解

问题定义：在机器人强化学习中，由于状态和动作空间的连续性以及奖励的稀疏性，智能体难以有效地探索和学习。传统的经验回放方法平等地对待所有经验，导致重要经验被淹没，学习效率低下。现有方法，如HER和PER，在一定程度上缓解了这些问题，但仍有提升空间。

核心思路：HiER的核心思路是模拟人类学习过程中的“高亮”记忆。通过创建一个额外的高亮经验回放缓冲区，选择性地存储和重放那些被认为对学习最有价值的经验。这样可以更频繁地利用重要经验，加速学习过程，并提高智能体的性能。

技术框架：HiER方法在标准的强化学习框架中增加了一个高亮经验回放缓冲区。智能体与环境交互产生的经验被存储到标准经验回放缓冲区中。同时，根据一定的标准（例如，TD误差的大小），一部分经验被选择性地复制到高亮经验回放缓冲区中。在训练过程中，智能体从标准和高亮经验回放缓冲区中采样经验，用于更新策略和价值函数。HiER可以与现有的经验回放技术（如HER和PER）结合使用。

关键创新：HiER的关键创新在于引入了高亮经验回放缓冲区的概念，并设计了一种选择性存储和重放重要经验的机制。与传统的经验回放方法相比，HiER能够更有效地利用重要经验，加速学习过程。与PER相比，HiER使用独立的缓冲区，允许更灵活的采样策略。

关键设计：HiER的关键设计包括：1) 如何选择重要经验：论文中使用了TD误差作为选择标准，TD误差越大，说明该经验对学习越重要。2) 高亮经验回放缓冲区的大小：需要根据具体任务进行调整，过小可能导致重要经验丢失，过大可能降低选择性。3) 从标准和高亮经验回放缓冲区中采样的比例：需要根据具体任务进行调整，以平衡探索和利用。

📊 实验亮点

HiER在三个机器人基准测试的8个任务中进行了验证，结果表明HiER显著提高了性能。例如，在某些任务中，HiER可以将成功率提高到接近100%，而基线方法只能达到较低的成功率。HiER还可以与HER和PER等方法结合使用，进一步提高性能。HiER+通过结合课程学习方法，进一步提升了HiER的性能。

🎯 应用场景

HiER方法可应用于各种机器人强化学习任务，例如机器人操作、导航和控制。它尤其适用于奖励稀疏、探索困难的环境。通过更有效地利用重要经验，HiER可以加速机器人的学习过程，提高其在复杂环境中的适应能力。该方法还可以应用于其他领域的强化学习问题，例如游戏AI和推荐系统。

📄 摘要（原文）

Even though reinforcement-learning-based algorithms achieved superhuman performance in many domains, the field of robotics poses significant challenges as the state and action spaces are continuous, and the reward function is predominantly sparse. Furthermore, on many occasions, the agent is devoid of access to any form of demonstration. Inspired by human learning, in this work, we propose a method named highlight experience replay (HiER) that creates a secondary highlight replay buffer for the most relevant experiences. For the weights update, the transitions are sampled from both the standard and the highlight experience replay buffer. It can be applied with or without the techniques of hindsight experience replay (HER) and prioritized experience replay (PER). Our method significantly improves the performance of the state-of-the-art, validated on 8 tasks of three robotic benchmarks. Furthermore, to exploit the full potential of HiER, we propose HiER+ in which HiER is enhanced with an arbitrary data collection curriculum learning method. Our implementation, the qualitative results, and a video presentation are available on the project site: http://www.danielhorvath.eu/hier/.