Sample-Efficient Preference-based Reinforcement Learning with Dynamics Aware Rewards
作者: Katherine Metcalf, Miguel Sarabia, Natalie Mackraz, Barry-John Theobald
分类: cs.AI, cs.LG
发布日期: 2024-02-28
备注: CoRL 2023. arXiv admin note: substantial text overlap with arXiv:2211.06527
🔗 代码/项目: GITHUB
💡 一句话要点
提出动态感知奖励以提高偏好强化学习的样本效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 偏好强化学习 动态感知奖励 样本效率 自监督学习 策略学习
📋 核心要点
- 现有的偏好强化学习方法在样本效率上存在不足，通常需要大量的偏好标签才能达到理想的策略性能。
- 论文提出通过动态感知奖励函数来提高样本效率，利用自监督学习方法生成状态-动作表示，从而加速策略学习。
- 实验结果表明，在多个任务中，使用较少的偏好标签即可实现与现有方法相当的性能，显著提升了学习效率。
📝 摘要（中文）
偏好强化学习（PbRL）通过从二元反馈中学习奖励函数，使机器人行为与人类偏好对齐。我们展示了动态感知奖励函数可以将PbRL的样本效率提高一个数量级。在实验中，我们交替进行：通过自监督的时间一致性任务学习动态感知的状态-动作表示（z^{sa}），并从(z^{sa})引导偏好基础的奖励函数，这导致了更快的策略学习和更好的最终策略性能。例如，在四足行走、步态行走和猎豹奔跑任务中，使用50个偏好标签的情况下，我们达到了现有方法使用500个偏好标签时的相同性能，并且恢复了83%和66%的真实奖励策略性能，而仅为38%和21%。这些性能提升展示了显式学习动态感知奖励模型的好处。
🔬 方法详解
问题定义：本论文旨在解决偏好强化学习中样本效率低下的问题。现有方法通常需要大量的偏好标签才能有效学习，导致学习过程缓慢且资源消耗高。
核心思路：论文的核心思路是引入动态感知奖励函数，通过自监督学习生成状态-动作表示，从而提高样本效率。这样设计的原因在于，动态感知的奖励能够更好地反映环境的变化，进而加速策略的学习过程。
技术框架：整体架构包括两个主要模块：首先，通过自监督的时间一致性任务学习动态感知的状态-动作表示（z^{sa}）；其次，从(z^{sa})引导生成偏好基础的奖励函数。这两个模块交替进行，以实现更快的策略学习。
关键创新：最重要的技术创新在于显式学习动态感知奖励模型，这与传统的静态奖励模型形成鲜明对比。动态感知奖励模型能够更有效地利用环境信息，从而显著提高样本效率。
关键设计：在技术细节上，论文采用了特定的损失函数来优化状态-动作表示，并设计了适应性参数设置以提高模型的学习能力。网络结构方面，使用了深度神经网络来处理复杂的状态-动作映射。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在四足行走、步态行走和猎豹奔跑任务中，使用50个偏好标签的情况下，论文方法的性能与现有方法使用500个偏好标签时相当。此外，恢复的真实奖励策略性能分别达到83%和66%，而现有方法仅为38%和21%，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、智能助手等需要与人类偏好对齐的场景。通过提高样本效率，能够降低训练成本，加速模型部署，进而推动智能系统在实际应用中的普及与发展。
📄 摘要（原文）
Preference-based reinforcement learning (PbRL) aligns a robot behavior with human preferences via a reward function learned from binary feedback over agent behaviors. We show that dynamics-aware reward functions improve the sample efficiency of PbRL by an order of magnitude. In our experiments we iterate between: (1) learning a dynamics-aware state-action representation (z^{sa}) via a self-supervised temporal consistency task, and (2) bootstrapping the preference-based reward function from (z^{sa}), which results in faster policy learning and better final policy performance. For example, on quadruped-walk, walker-walk, and cheetah-run, with 50 preference labels we achieve the same performance as existing approaches with 500 preference labels, and we recover 83\% and 66\% of ground truth reward policy performance versus only 38\% and 21\%. The performance gains demonstrate the benefits of explicitly learning a dynamics-aware reward model. Repo: \texttt{https://github.com/apple/ml-reed}.