Augmenting Unsupervised Reinforcement Learning with Self-Reference

📄 arXiv: 2311.09692v1 📥 PDF

作者: Andrew Zhao, Erle Zhu, Rui Lu, Matthieu Lin, Yong-Jin Liu, Gao Huang

分类: cs.LG, cs.AI, cs.RO

发布日期: 2023-11-16

备注: Preprint

💡 一句话要点

提出自引用方法以增强无监督强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 无监督强化学习 自引用 历史信息利用 样本效率 学习性能提升

📋 核心要点

  1. 现有无监督强化学习方法在处理内在奖励的非平稳性和探索行为的遗忘方面存在挑战。
  2. 论文提出的自引用方法通过显性利用历史经验来增强代理的学习能力，特别是在预训练和微调阶段。
  3. 实验结果显示，该方法在无监督强化学习基准测试中实现了86%的IQM和16%的最优性差距，显著提升了现有算法的性能。

📝 摘要（中文）

人类在学习新任务时能够显性地借鉴过去的经验，这种自引用能力对无监督强化学习代理在预训练-微调设置中尤为重要。我们提出自引用（Self-Reference, SR）方法，旨在利用历史信息来提升代理的表现。在预训练阶段，该方法通过显性利用过去经验来缓解内在奖励的非平稳性；在微调阶段，引用历史轨迹可以防止有价值的探索行为的遗忘。我们的SR方法在无监督强化学习基准测试中取得了最先进的结果，记录了86%的四分位均值（IQM）和16%的最优性差距（Optimality Gap），并且在现有算法上提升了最多17%的IQM和减少了31%的最优性差距。此外，自引用模块还提高了样本效率，这对于实际应用至关重要。

🔬 方法详解

问题定义：本论文旨在解决无监督强化学习中代理在学习过程中面临的内在奖励非平稳性和探索行为遗忘的问题。现有方法往往无法有效利用历史经验，导致学习效率低下。

核心思路：我们提出的自引用方法通过显性引用历史轨迹，帮助代理在预训练阶段缓解内在奖励的非平稳性，并在微调阶段保持有价值的探索行为，从而提升学习效果。

技术框架：整体架构包括两个主要阶段：预训练和微调。在预训练阶段，代理利用历史经验进行学习；在微调阶段，代理通过引用历史轨迹来优化其行为策略。

关键创新：自引用模块是本研究的核心创新点，它与现有方法的本质区别在于显性利用历史信息，而不是仅依赖当前状态的信息，从而提高了学习的稳定性和效率。

关键设计：在设计中，我们设置了特定的参数来平衡历史信息的引用程度，并采用了适应性的损失函数来优化代理的学习过程，确保在不同阶段的学习目标能够有效达成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，自引用方法在无监督强化学习基准测试中实现了86%的四分位均值（IQM）和16%的最优性差距（Optimality Gap），相比现有算法提升了最多17%的IQM和减少了31%的最优性差距，显示出显著的性能优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、游戏智能体等。通过提高无监督强化学习的样本效率和学习性能，该方法能够在实际应用中更快速地适应复杂环境，提升智能体的自主学习能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humans possess the ability to draw on past experiences explicitly when learning new tasks and applying them accordingly. We believe this capacity for self-referencing is especially advantageous for reinforcement learning agents in the unsupervised pretrain-then-finetune setting. During pretraining, an agent's past experiences can be explicitly utilized to mitigate the nonstationarity of intrinsic rewards. In the finetuning phase, referencing historical trajectories prevents the unlearning of valuable exploratory behaviors. Motivated by these benefits, we propose the Self-Reference (SR) approach, an add-on module explicitly designed to leverage historical information and enhance agent performance within the pretrain-finetune paradigm. Our approach achieves state-of-the-art results in terms of Interquartile Mean (IQM) performance and Optimality Gap reduction on the Unsupervised Reinforcement Learning Benchmark for model-free methods, recording an 86% IQM and a 16% Optimality Gap. Additionally, it improves current algorithms by up to 17% IQM and reduces the Optimality Gap by 31%. Beyond performance enhancement, the Self-Reference add-on also increases sample efficiency, a crucial attribute for real-world applications.