BET: Explaining Deep Reinforcement Learning through The Error-Prone Decisions

📄 arXiv: 2401.07263v1 📥 PDF

作者: Xiao Liu, Jie Zhao, Wubing Chen, Mao Tan, Yongxing Su

分类: cs.LG, cs.AI

发布日期: 2024-01-14

备注: This is an early version of a paper that submitted to IJCAI 2024 8 pages, 4 figures and 1 table

💡 一句话要点

提出BET结构以识别深度强化学习中的错误决策状态

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 自解释模型 错误决策 骨干提取树 多智能体系统 状态邻域 聚类算法

📋 核心要点

  1. 现有自解释模型无法准确识别深度强化学习智能体的错误决策状态，限制了其在安全敏感领域的应用。
  2. 本文提出的骨干提取树（BET）结构，通过识别错误决策状态，提供更清晰的智能体行为解释。
  3. BET在多个强化学习环境中表现优越，尤其在《星际争霸II》中展示了其在复杂场景下的解释能力。

📝 摘要（中文）

尽管深度强化学习（DRL）在许多复杂场景中表现出色，但其黑箱决策过程限制了在安全敏感领域的应用。现有的自解释模型无法准确识别错误决策状态。为此，本文提出了一种新颖的自解释结构——骨干提取树（BET），旨在通过识别错误决策状态来更好地解释智能体行为。BET假设智能体在一致执行相同决策的状态下，错误发生的可能性较低。通过定义代表性状态的邻域，BET能够有效地模型化这一现象。实验结果表明，BET在多个流行的强化学习环境中优于现有自解释模型，并在复杂的多智能体合作游戏《星际争霸II》中展示了其应用潜力。

🔬 方法详解

问题定义：本文旨在解决深度强化学习智能体决策过程的不透明性，现有方法无法有效识别错误决策状态，导致智能体在安全敏感领域的应用受限。

核心思路：BET结构假设在一致执行相同决策的状态下，智能体的错误发生概率较低。通过定义代表性状态的邻域，BET能够识别出更容易出错的状态，从而提供更有效的解释。

技术框架：BET的整体架构包括状态邻域的定义、代表性状态的选择以及错误状态的识别。首先，通过聚类方法确定代表性状态，然后根据距离评估错误概率。

关键创新：BET的主要创新在于其通过状态邻域的概念来识别错误决策状态，与现有方法相比，BET能够提供更具解释性的决策分析。

关键设计：在设计上，BET采用了特定的聚类算法来选择代表性状态，并通过距离度量来评估状态的错误概率，确保模型的有效性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个强化学习环境中，BET的解释准确性显著优于现有自解释模型，尤其在《星际争霸II》中，BET成功提供了复杂场景下的透明解释，展示了其在高复杂度任务中的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗诊断和金融决策等安全敏感领域。通过提供清晰的决策解释，BET能够增强用户对智能体行为的信任，促进其在实际应用中的推广与使用。

📄 摘要（原文）

Despite the impressive capabilities of Deep Reinforcement Learning (DRL) agents in many challenging scenarios, their black-box decision-making process significantly limits their deployment in safety-sensitive domains. Several previous self-interpretable works focus on revealing the critical states of the agent's decision. However, they cannot pinpoint the error-prone states. To address this issue, we propose a novel self-interpretable structure, named Backbone Extract Tree (BET), to better explain the agent's behavior by identify the error-prone states. At a high level, BET hypothesizes that states in which the agent consistently executes uniform decisions exhibit a reduced propensity for errors. To effectively model this phenomenon, BET expresses these states within neighborhoods, each defined by a curated set of representative states. Therefore, states positioned at a greater distance from these representative benchmarks are more prone to error. We evaluate BET in various popular RL environments and show its superiority over existing self-interpretable models in terms of explanation fidelity. Furthermore, we demonstrate a use case for providing explanations for the agents in StarCraft II, a sophisticated multi-agent cooperative game. To the best of our knowledge, we are the first to explain such a complex scenarios using a fully transparent structure.