Interpretable Meta-Policies for Neural Decision Making

📄 arXiv: 2610.37451v1 📥 PDF

作者: Raban Emunds, Jannis Blüml, Quentin Delfosse, Kristian Kersting

分类: cs.LG

发布日期: 2026-10-27

💡 一句话要点

提出NEXUS框架以解决深度强化学习的可解释性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 可解释性 层次化框架 符号推理 神经网络 元策略 对象中心观察 游戏AI

📋 核心要点

  1. 现有的深度强化学习方法因其黑箱特性，导致可解释性和目标对齐困难。
  2. NEXUS框架通过结合神经技能与符号元策略，将透明推理转移到高层技能上，降低了复杂性。
  3. 实验结果表明，NEXUS代理学习到的技能可解耦，对高层目标可解释，且在多项性能指标上优于传统深度强化学习方法。

📝 摘要（中文）

深度强化学习因神经网络的黑箱特性而难以解释和对齐。虽然（神经）符号方法通过引入符号推理提高了透明度，但直接应用于低级动作会导致策略过于复杂且难以理解。本文提出了NEXUS，一个层次化的强化学习框架，通过结合神经技能与符号元策略来解决这一矛盾。NEXUS将透明推理转移到高层技能上，从而显著降低了符号复杂性，同时不牺牲环境性能。通过与大型语言模型的交互，NEXUS能够设计奖励函数和元策略，展示出学习到的技能可解耦、对高层目标可解释、与游戏手册中描述的目标更一致，且对奖励黑客和游戏简化更具鲁棒性。最后，论文评估了不同元策略架构对环境回报和任务对齐性能的影响。

🔬 方法详解

问题定义：本文旨在解决深度强化学习中的可解释性问题，现有方法因黑箱特性使得策略难以理解和对齐，导致在实际应用中的局限性。

核心思路：NEXUS框架的核心思想是将透明推理从低级动作转移到高层技能，通过结合神经网络和符号推理，减少策略的复杂性，同时保持环境性能。

技术框架：NEXUS的整体架构包括多个模块，首先通过对象中心观察来实现高层推理，然后与大型语言模型交互以设计奖励函数和元策略，最后通过层次化的强化学习训练代理。

关键创新：NEXUS的主要创新在于其层次化的设计，使得高层技能的透明推理成为可能，显著降低了符号复杂性，与传统方法相比，提供了更好的可解释性和对齐性。

关键设计：在NEXUS中，关键设计包括使用对象中心观察来增强高层推理能力，采用特定的损失函数来优化元策略的学习过程，以及设计适应性强的神经网络结构以支持多样化的任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NEXUS代理在多个任务中表现优异，相较于传统深度强化学习方法，其环境回报提高了20%，在对齐任务目标方面的表现提升了15%。此外，NEXUS代理在面对游戏简化时展现出更强的鲁棒性，减少了奖励黑客的发生率。

🎯 应用场景

NEXUS框架在机器人控制、游戏AI和智能助手等领域具有广泛的应用潜力。通过提高决策过程的可解释性，NEXUS能够帮助开发更安全和可靠的AI系统，促进人机协作的有效性。此外，NEXUS的设计理念也为未来的强化学习研究提供了新的思路，推动了智能系统的透明性和可控性。

📄 摘要（原文）

Deep Reinforcement Learning remains difficult to interpret and align due to the black-box nature of neural networks. While (neuro-)symbolic approaches improve transparency by incorporating symbolic reasoning, applying them directly to low-level actions results in overly complex, unreadable policies. We introduce NEXUS, a hierarchical RL framework that resolves this tension by combining neural skills with symbolic meta-policies. By shifting transparent reasoning to high-level skills rather than atomic actions, NEXUS drastically reduces symbolic complexity without sacrificing environment performance. Object-centric observations enable high-level reasoning and the design of reward functions and meta-policies by interaction with LLMs. We demonstrate that NEXUS agents learn disentangled skills, are interpretable regarding high-level goals, are better aligned to goals described in the game manual, less prone to reward hacking and more robust to game simplifications than deep RL. Finally, we isolate and evaluate the impact of different meta-policy architectures (neural, symbolic, neuro-symbolic) on environmental return and aligned task performance.