Logical Specifications-guided Dynamic Task Sampling for Reinforcement Learning Agents

📄 arXiv: 2402.03678v3 📥 PDF

作者: Yash Shukla, Tanushree Burman, Abhishek Kulkarni, Robert Wright, Alvaro Velasquez, Jivko Sinapov

分类: cs.AI, cs.LG, cs.RO

发布日期: 2024-02-06 (更新: 2024-04-03)

💡 一句话要点

提出逻辑规范引导的动态任务采样以解决强化学习样本复杂性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 动态任务采样 逻辑规范 样本效率 机器人控制 决策问题

📋 核心要点

  1. 现有的强化学习方法在学习有效策略时通常需要大量的环境交互，导致样本复杂性问题。
  2. 本文提出的LSTS方法通过高层次任务规范动态采样任务，旨在减少环境交互次数并提高学习效率。
  3. 实验结果表明，LSTS在复杂决策问题上显著提升了时间阈值性能，并在样本效率上优于现有基线方法。

📝 摘要（中文）

强化学习（RL）在使人工智能代理学习多样化行为方面取得了显著进展。然而，学习有效策略通常需要大量的环境交互。为了解决样本复杂性问题，近期的方法利用高层次任务规范，如线性时序逻辑（LTL$_f$）公式或奖励机器（RM），来指导代理的学习进程。本文提出了一种新方法，称为逻辑规范引导的动态任务采样（LSTS），该方法基于高层次任务规范学习一组RL策略，引导代理从初始状态到达目标状态，同时最小化环境交互次数。与以往工作不同，LSTS不假设环境动态或奖励机器的信息，并动态采样有前景的任务以实现成功的目标策略。我们在网格世界中评估了LSTS，结果表明其在复杂的序列决策问题上相比于最先进的RM和自动机引导的RL基线（如奖励机器的Q学习和基于逻辑规范的组合RL）表现出更好的时间阈值性能。此外，我们还展示了该方法在部分可观察的机器人任务和连续控制的机器人操作任务中，在样本效率方面优于RM和自动机引导的RL基线。

🔬 方法详解

问题定义：本文旨在解决强化学习中样本复杂性高的问题。现有方法需要大量的环境交互以学习有效策略，导致学习效率低下。

核心思路：LSTS方法通过高层次任务规范引导代理动态采样有前景的任务，从而减少环境交互次数并加速学习过程。该方法不依赖于环境动态或奖励机器的先验信息。

技术框架：LSTS的整体架构包括任务规范解析、动态任务采样和策略学习三个主要模块。首先解析高层次任务规范，然后动态选择任务进行学习，最后通过强化学习算法更新策略。

关键创新：LSTS的核心创新在于其动态任务采样机制，能够在不依赖环境动态信息的情况下，有效引导学习过程。这一设计与传统的基于静态任务选择的方法有本质区别。

关键设计：在实现中，LSTS采用了基于优先级的任务选择策略，结合了多种强化学习算法以优化策略更新过程。同时，设计了适应性损失函数以提高学习的稳定性和效率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，LSTS在复杂序列决策问题上相比于最先进的基线方法（如Q-Learning和DIRL）在时间阈值性能上有显著提升。此外，在部分可观察的机器人任务和连续控制任务中，LSTS的样本效率也优于现有的RM和自动机引导的RL基线。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、智能制造等需要高效决策的场景。通过减少样本复杂性，LSTS能够在实际应用中显著提高学习效率，降低训练成本，推动智能系统的快速部署与应用。

📄 摘要（原文）

Reinforcement Learning (RL) has made significant strides in enabling artificial agents to learn diverse behaviors. However, learning an effective policy often requires a large number of environment interactions. To mitigate sample complexity issues, recent approaches have used high-level task specifications, such as Linear Temporal Logic (LTL$_f$) formulas or Reward Machines (RM), to guide the learning progress of the agent. In this work, we propose a novel approach, called Logical Specifications-guided Dynamic Task Sampling (LSTS), that learns a set of RL policies to guide an agent from an initial state to a goal state based on a high-level task specification, while minimizing the number of environmental interactions. Unlike previous work, LSTS does not assume information about the environment dynamics or the Reward Machine, and dynamically samples promising tasks that lead to successful goal policies. We evaluate LSTS on a gridworld and show that it achieves improved time-to-threshold performance on complex sequential decision-making problems compared to state-of-the-art RM and Automaton-guided RL baselines, such as Q-Learning for Reward Machines and Compositional RL from logical Specifications (DIRL). Moreover, we demonstrate that our method outperforms RM and Automaton-guided RL baselines in terms of sample-efficiency, both in a partially observable robotic task and in a continuous control robotic manipulation task.