Reinforcement Learning with Symbolic Reward Machines

📄 arXiv: 2603.03068v1 📥 PDF

作者: Thomas Krug, Daniel Neider

分类: cs.LG, cs.AI

发布日期: 2026-03-03

💡 一句话要点

提出符号奖励机(SRM)，解决强化学习中奖励函数人工标注问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励机 符号推理 自动奖励函数 时序任务

📋 核心要点

  1. 传统奖励机依赖人工设计的标签函数，为每个环境和任务创建标签，限制了其在通用强化学习框架中的应用。
  2. 提出符号奖励机(SRM)，直接从环境的标准输出中学习，通过符号公式表示的guards处理观察，无需人工标注。
  3. 实验结果表明，SRM方法在性能上优于基线强化学习方法，并能达到现有奖励机方法的效果，同时提供可解释的任务表示。

📝 摘要（中文）

奖励机(RM)是强化学习中一种成熟的机制，用于表示和学习具有非马尔可夫奖励的稀疏、时序扩展任务。RM依赖于环境提供的标签形式的高级信息。然而，这种概念需要为每个环境和任务手动输入。用户必须创建一个合适的标签函数来计算标签。这些限制导致其在广泛采用的强化学习框架中的适用性较差。我们提出了符号奖励机(SRM)以及学习算法QSRM和LSRM，以克服RM的局限性。SRM仅消耗环境的标准输出，并通过由符号公式表示的guards直接处理观察。在我们的评估中，我们的SRM方法优于基线强化学习方法，并生成与现有RM方法相同的结果。同时，我们的方法遵循广泛使用的环境定义，并为用户提供任务的可解释表示。

🔬 方法详解

问题定义：现有奖励机(RM)方法需要人工设计标签函数，为每个环境和任务创建标签，这限制了其通用性和易用性。在实际应用中，为复杂环境设计合适的标签函数往往非常困难，需要大量的领域知识和人工调试。因此，如何自动地从环境原始观测中学习奖励函数，成为了一个重要的挑战。

核心思路：论文的核心思路是使用符号公式来表示奖励机的状态转移条件（guards），并直接从环境的原始观测中学习这些符号公式。通过这种方式，可以避免人工设计标签函数，实现奖励函数的自动学习。SRM将环境观测作为输入，通过符号公式判断状态转移，从而实现对复杂任务的建模。

技术框架：SRM的整体框架包括以下几个主要模块：1) 环境交互模块：与环境进行交互，获取环境的观测和奖励信号。2) 符号公式学习模块：从环境观测中学习符号公式，用于表示奖励机的状态转移条件。3) 奖励机更新模块：根据环境反馈和符号公式，更新奖励机的状态和奖励函数。4) 策略学习模块：利用奖励机提供的奖励信号，学习最优策略。整个流程是：智能体与环境交互，获得观测；观测通过符号公式判断状态转移；奖励机根据状态转移给出奖励；智能体根据奖励更新策略。

关键创新：SRM最重要的创新点在于使用符号公式来表示奖励机的状态转移条件，并直接从环境的原始观测中学习这些符号公式。这与传统的奖励机方法不同，传统方法需要人工设计标签函数，而SRM可以自动地从环境中学习奖励函数。此外，SRM还提供了一种可解释的任务表示，用户可以理解奖励机的状态和状态转移条件。

关键设计：SRM的关键设计包括：1) 符号公式的表示方法：论文使用一阶逻辑公式来表示状态转移条件。2) 符号公式的学习算法：论文提出了QSRM和LSRM两种学习算法，分别基于Q-learning和Least Squares Policy Iteration。3) 奖励机的状态表示：论文使用离散状态来表示奖励机的状态。4) 奖励函数的定义：论文使用稀疏奖励函数，只有在达到目标状态时才给出奖励。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SRM方法在多个强化学习任务中取得了显著的性能提升。例如，在Gridworld和Craftworld环境中，SRM方法能够达到与人工设计的奖励机方法相当的性能，并且优于基线强化学习方法。具体来说，QSRM和LSRM在学习效率和最终性能上都超过了传统的Q-learning和DQN等算法，证明了SRM在处理时序扩展任务方面的优势。

🎯 应用场景

SRM具有广泛的应用前景，例如机器人导航、游戏AI、自动驾驶等领域。它可以用于解决具有复杂时序依赖关系的强化学习任务，例如，训练机器人完成一系列复杂的装配任务，或者训练游戏AI完成具有挑战性的游戏关卡。SRM的自动奖励函数学习能力可以大大降低人工成本，提高强化学习算法的效率和泛化能力。未来，SRM可以与其他强化学习技术相结合，例如，深度强化学习、模仿学习等，以解决更加复杂的实际问题。

📄 摘要（原文）

Reward Machines (RMs) are an established mechanism in Reinforcement Learning (RL) to represent and learn sparse, temporally extended tasks with non-Markovian rewards. RMs rely on high-level information in the form of labels that are emitted by the environment alongside the observation. However, this concept requires manual user input for each environment and task. The user has to create a suitable labeling function that computes the labels. These limitations lead to poor applicability in widely adopted RL frameworks. We propose Symbolic Reward Machines (SRMs) together with the learning algorithms QSRM and LSRM to overcome the limitations of RMs. SRMs consume only the standard output of the environment and process the observation directly through guards that are represented by symbolic formulas. In our evaluation, our SRM methods outperform the baseline RL approaches and generate the same results as the existing RM methods. At the same time, our methods adhere to the widely used environment definition and provide interpretable representations of the task to the user.