Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
作者: Sang-Hyun Lee, Seung-Woo Seo
分类: cs.LG, cs.RO
发布日期: 2023-11-15 (更新: 2024-02-18)
备注: 8 pages, 8 figures
💡 一句话要点
提出自监督课程生成方法以解决自主强化学习中的环境重置问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主强化学习 自监督学习 课程生成 环境重置 成功判别器 智能体学习
📋 核心要点
- 现有的自主强化学习方法在环境重置过程中依赖于大量人工干预，限制了智能体的自主学习能力。
- 本文提出了一种新型的自监督课程生成算法，能够在没有任务特定知识的情况下，根据智能体的学习进度自适应生成课程。
- 实验结果显示，该算法在解决稀疏奖励的迷宫导航和操作任务中表现优异，显著减少了人工重置的需求。
📝 摘要（中文）
当前强化学习算法在实际应用中的一个主要瓶颈是每个回合之间需要重置环境，这一过程需要大量人工干预，导致智能体难以实现持续自主学习。近期一些研究提出了自主强化学习（ARL）算法，通过生成课程来共同训练重置和前向策略。然而，这些课程依赖于任务特定知识，如预定义的初始状态或重置奖励函数。本文提出了一种新颖的ARL算法，能够在没有任务特定知识的情况下，根据智能体的学习进度自适应生成课程，从而使智能体能够自主重置到多样且信息丰富的初始状态。我们引入了一个成功判别器，通过自监督方式训练，以估计智能体在遵循前向策略时从每个初始状态成功的概率。实验结果表明，该ARL算法能够生成自适应课程，并使智能体在稀疏奖励的迷宫导航和操作任务中高效启动，显著减少人工重置次数，优于基线方法。
🔬 方法详解
问题定义：本文旨在解决当前自主强化学习中环境重置依赖人工干预的问题。现有方法需要任务特定知识，限制了智能体的自主学习能力。
核心思路：提出了一种自监督的课程生成方法，使智能体能够根据学习进度自适应重置到多样的初始状态，进而提高学习效率。
技术框架：该方法包括成功判别器模块，利用重新标记的过渡数据进行自监督训练，评估智能体在不同初始状态下的成功概率。
关键创新：引入成功判别器作为核心创新，使得课程生成不再依赖于任务特定知识，能够根据智能体的学习进度动态调整重置策略。
关键设计：成功判别器的训练采用自监督方式，利用智能体的历史过渡数据进行重标记，确保判别器能够准确估计成功概率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的ARL算法在稀疏奖励的迷宫导航和操作任务中表现优异，相较于基线方法，显著减少了人工重置次数，提升了学习效率，展示了良好的自适应能力。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能制造等需要自主学习和适应的场景。通过减少对人工重置的依赖，智能体能够更高效地进行学习，提升实际应用中的智能化水平和灵活性。
📄 摘要（原文）
A significant bottleneck in applying current reinforcement learning algorithms to real-world scenarios is the need to reset the environment between every episode. This reset process demands substantial human intervention, making it difficult for the agent to learn continuously and autonomously. Several recent works have introduced autonomous reinforcement learning (ARL) algorithms that generate curricula for jointly training reset and forward policies. While their curricula can reduce the number of required manual resets by taking into account the agent's learning progress, they rely on task-specific knowledge, such as predefined initial states or reset reward functions. In this paper, we propose a novel ARL algorithm that can generate a curriculum adaptive to the agent's learning progress without task-specific knowledge. Our curriculum empowers the agent to autonomously reset to diverse and informative initial states. To achieve this, we introduce a success discriminator that estimates the success probability from each initial state when the agent follows the forward policy. The success discriminator is trained with relabeled transitions in a self-supervised manner. Our experimental results demonstrate that our ARL algorithm can generate an adaptive curriculum and enable the agent to efficiently bootstrap to solve sparse-reward maze navigation and manipulation tasks, outperforming baselines with significantly fewer manual resets.