What Fundamental Structure in Reward Functions Enables Efficient Sparse-Reward Learning?

📄 arXiv: 2509.03790v2 📥 PDF

作者: Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma

分类: cs.LG, cs.AI

发布日期: 2025-09-04 (更新: 2025-09-09)

💡 一句话要点

提出PAMC以解决稀疏奖励学习中的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 稀疏奖励学习 强化学习 矩阵补全 样本效率 政策偏置 机器人控制 游戏智能体

📋 核心要点

  1. 核心问题：稀疏奖励强化学习缺乏有效的结构，导致智能体需要大量样本才能恢复奖励，效率低下。
  2. 方法要点：提出PAMC，通过利用奖励矩阵的低秩和稀疏结构，在政策偏置采样下提高样本效率。
  3. 实验或效果：PAMC在多个基准测试中表现优异，超越了DrQ-v2、DreamerV3等方法，显示出显著的样本效率提升。

📝 摘要（中文）

稀疏奖励强化学习（RL）依然面临根本性挑战：在缺乏结构的情况下，任何智能体需要$Ω(| ext{S}|| ext{A}|/p)$样本来恢复奖励。本文提出了政策感知矩阵补全（PAMC），作为结构化奖励学习框架的首个具体步骤。我们的关键思想是利用奖励矩阵中的近似低秩和稀疏结构，基于政策偏置（MNAR）采样。我们证明了逆倾向加权的恢复保证，并建立了一个访问加权的误差与遗憾界限，链接补全误差与控制性能。重要的是，当假设减弱时，PAMC能够优雅降级：置信区间扩大，算法会选择不行动，从而确保安全回退到探索阶段。实证结果显示，PAMC在多个基准测试中提高了样本效率，超越了多种现有方法。

🔬 方法详解

问题定义：本文旨在解决稀疏奖励强化学习中的样本效率问题。现有方法在缺乏奖励结构的情况下，智能体需要大量样本才能有效学习，导致学习过程缓慢且不稳定。

核心思路：论文提出的PAMC方法利用奖励矩阵的近似低秩和稀疏结构，结合政策偏置采样，旨在通过结构化的方式提高样本效率。这样的设计使得在稀疏奖励环境中，智能体能够更快地收敛到有效策略。

技术框架：PAMC的整体架构包括几个主要模块：首先，通过政策偏置采样收集数据；其次，利用矩阵补全技术恢复奖励矩阵；最后，基于恢复的奖励进行策略优化。

关键创新：PAMC的主要创新在于引入了逆倾向加权的恢复保证，并建立了误差与控制性能之间的联系。这一方法在假设减弱时能够优雅降级，确保安全性。

关键设计：PAMC的设计中，关键参数包括采样策略和矩阵补全算法的选择，损失函数则基于恢复误差与策略性能之间的关系进行优化。

📊 实验亮点

实验结果显示，PAMC在Atari-26、DM Control、MetaWorld MT50等多个基准测试中表现优异，样本效率显著提高，超越了DrQ-v2、DreamerV3等多种现有方法，展示了在10M步内的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、游戏智能体训练和自动驾驶等。通过提高稀疏奖励学习的样本效率，PAMC能够加速智能体的学习过程，降低训练成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Sparse-reward reinforcement learning (RL) remains fundamentally hard: without structure, any agent needs $Ω(|\mathcal{S}||\mathcal{A}|/p)$ samples to recover rewards. We introduce Policy-Aware Matrix Completion (PAMC) as a first concrete step toward a structural reward learning framework. Our key idea is to exploit approximate low-rank + sparse structure in the reward matrix, under policy-biased (MNAR) sampling. We prove recovery guarantees with inverse-propensity weighting, and establish a visitation-weighted error-to-regret bound linking completion error to control performance. Importantly, when assumptions weaken, PAMC degrades gracefully: confidence intervals widen and the algorithm abstains, ensuring safe fallback to exploration. Empirically, PAMC improves sample efficiency across Atari-26 (10M steps), DM Control, MetaWorld MT50, D4RL offline RL, and preference-based RL benchmarks, outperforming DrQ-v2, DreamerV3, Agent57, T-REX/D-REX, and PrefPPO under compute-normalized comparisons. Our results highlight PAMC as a practical and principled tool when structural rewards exist, and as a concrete first instantiation of a broader structural reward learning perspective.