Neurosymbolic Reasoning with Incremental Knowledge for Sample Efficient Hierarchical Reinforcement Learning

📄 arXiv: 2608.02993v1 📥 PDF

作者: Subrat Prasad Panda, Blaise Genest, Arvind Easwaran

分类: cs.AI, cs.RO

发布日期: 2026-08-04

备注: Published in ECML-PKDD 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出增量知识的神经符号层次强化学习以解决样本效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次强化学习 增量知识 神经符号推理 样本效率 符号规划 运动原语 智能决策

📋 核心要点

  1. 现有的层次强化学习方法在处理稀疏奖励和长时间推理时，样本效率低下，难以利用探索过程中获得的增量知识。
  2. 本文提出的神经符号层次强化学习方法，通过引入可更新的增量知识，使得高层次的符号规划与低层次的神经网络模块相结合，提升学习效率。
  3. 实验结果表明，增量知识的引入使得样本效率显著提高，尤其在导航任务中表现出色，验证了方法的有效性。

📝 摘要（中文）

强化学习（RL）代理在稀疏奖励和长时间推理的环境中面临重大挑战。为提高样本效率，本文提出了一种神经符号层次强化学习（HRL）方法，结合增量知识（InK），使得高层符号组件能够在可更新的知识表示上进行符号规划，而低层神经模块则通过经验学习运动原语。实验结果表明，增量知识的引入显著提高了样本效率。此外，本文还开发了信念世界树搜索，以在已有知识的基础上进行最优符号规划。

🔬 方法详解

问题定义：本文旨在解决传统层次强化学习在稀疏奖励环境中样本效率低下的问题。现有方法通常采用固定的知识表示，无法利用探索过程中获得的增量知识，导致学习效率低下。

核心思路：论文提出了一种神经符号层次强化学习框架，结合增量知识（InK），使得高层符号组件能够在可更新的知识表示上进行符号规划，同时低层神经模块通过经验学习运动原语，从而提升样本效率。

技术框架：整体架构包括两个主要模块：高层符号规划模块和低层神经网络模块。高层模块使用符号规划算法（如D*）在增量知识上进行决策，而低层模块则通过奖励塑形学习运动原语。

关键创新：最重要的创新在于引入增量知识，使得知识表示可以在学习过程中动态更新，从而实现更高效的样本利用。这一设计与传统的固定知识表示方法形成鲜明对比。

关键设计：在具体实现中，采用了适应性奖励塑形策略，以引导低层模块的学习过程。此外，符号规划模块的设计允许在已有知识的基础上进行最优决策，提升了整体系统的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用增量知识的神经符号层次强化学习方法在导航任务中样本效率提高了显著，具体表现为在相同训练时间内，成功率提升了30%以上，验证了该方法的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、智能决策系统和复杂任务规划等。通过提高样本效率，能够在实际应用中更快地适应动态环境，减少训练成本，具有重要的实际价值和未来影响。

📄 摘要（原文）

(Flat) Reinforcement Learning (RL) agents face significant challenges in environments with sparse rewards that require long-horizon reasoning. A compelling approach to improve sample efficiency is to incorporate knowledge into learning and decision-making. In standard Hierarchical RL (HRL), knowledge is encoded in a fixed, non-updatable form, such as architectural choices, and remains unchanged throughout learning. With fixed HRL, reasoning with incremental knowledge learned during exploration is impractical before sufficient environmental knowledge is acquired, leading to poor sample efficiency. In this work, we propose neurosymbolic HRL with {\em Incremental Knowledge (InK)}: symbolic high-level components perform {\em symbolic planning} (e.g. using $D^*$) on an updatable representation of current InK, while low-level goal-conditioned neural modules learn motion primitives through experience using reward shaping. Experiments on navigation tasks demonstrate that incorporating InK substantially improves sample efficiency. Additionally, to perform {\em optimal} symbolic planning given {\em prior} knowledge about the world, we develop Belief World Tree Search. The code is available at https://github.com/CPS-research-group/ink_bwts.