Potential-Based Reward Shaping For Intrinsic Motivation

📄 arXiv: 2402.07411v1 📥 PDF

作者: Grant C. Forbes, Nitish Gupta, Leonardo Villalobos-Arias, Colin M. Potts, Arnav Jhala, David L. Roberts

分类: cs.LG

发布日期: 2024-02-12

备注: Extended version of paper appearing in AAMAS 2024

💡 一句话要点

提出潜在基础奖励塑形方法以解决内在动机问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 内在动机 奖励塑形 潜在基础方法 强化学习 策略优化 复杂环境 训练效率

📋 核心要点

  1. 现有内在动机奖励塑形方法可能导致最优策略集合的改变，从而引发次优行为。
  2. 本文提出了一种扩展的潜在基础奖励塑形方法，能够在更广泛的函数集合下保持最优策略。
  3. 实验结果表明，PBIM方法有效防止了代理收敛到次优策略，并显著加快了训练过程。

📝 摘要（中文）

近年来，内在动机奖励塑形方法在复杂和稀疏奖励环境中的应用日益增多。然而，这些方法可能会无意中改变环境中的最优策略集合，导致次优行为。以往的潜在基础奖励塑形（PBRS）方法未能适用于许多内在动机方法，因为这些方法通常是复杂的、可训练的函数，依赖于比传统奖励函数更广泛的变量。本文提出了一种PBRS的扩展，证明其在更一般的函数集合下仍能保持最优策略集合。此外，我们还提出了潜在基础内在动机（PBIM）方法，将内在动机奖励转换为可用的潜在基础形式，而不改变最优策略集合。通过在MiniGrid DoorKey和Cliff Walking环境中的测试，证明PBIM成功防止了代理收敛到次优策略，并加快了训练速度。

🔬 方法详解

问题定义：本文旨在解决内在动机奖励塑形方法在复杂环境中可能导致的次优策略问题。现有的潜在基础奖励塑形（PBRS）方法无法适用于许多复杂的内在动机函数，限制了其应用。

核心思路：论文提出了一种新的PBRS扩展，能够在更一般的函数集合下保持最优策略集合。此外，提出的潜在基础内在动机（PBIM）方法能够将内在动机奖励转换为潜在基础形式，确保不改变最优策略。

技术框架：整体架构包括两个主要模块：首先是PBRS的扩展部分，确保在更广泛的函数集合下保持最优策略；其次是PBIM方法，将内在动机奖励转换为潜在基础形式。

关键创新：最重要的技术创新在于证明了PBRS在更一般函数集合下的有效性，并提出了PBIM方法，显著区别于传统的内在动机奖励塑形方法。

关键设计：在设计中，关键参数包括潜在函数的选择和内在动机奖励的转换机制，确保在训练过程中不改变最优策略集合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PBIM方法在MiniGrid DoorKey和Cliff Walking环境中有效防止了代理收敛到次优策略，相较于基线方法，训练速度显著提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括机器人学习、游戏AI和自主系统等复杂环境中的决策制定。通过有效的奖励塑形方法，能够提升智能体在稀疏奖励环境中的学习效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recently there has been a proliferation of intrinsic motivation (IM) reward-shaping methods to learn in complex and sparse-reward environments. These methods can often inadvertently change the set of optimal policies in an environment, leading to suboptimal behavior. Previous work on mitigating the risks of reward shaping, particularly through potential-based reward shaping (PBRS), has not been applicable to many IM methods, as they are often complex, trainable functions themselves, and therefore dependent on a wider set of variables than the traditional reward functions that PBRS was developed for. We present an extension to PBRS that we prove preserves the set of optimal policies under a more general set of functions than has been previously proven. We also present {\em Potential-Based Intrinsic Motivation} (PBIM), a method for converting IM rewards into a potential-based form that is useable without altering the set of optimal policies. Testing in the MiniGrid DoorKey and Cliff Walking environments, we demonstrate that PBIM successfully prevents the agent from converging to a suboptimal policy and can speed up training.