Understanding Your Agent: Leveraging Large Language Models for Behavior Explanation
作者: Xijia Zhang, Yue Guo, Simon Stepputtis, Katia Sycara, Joseph Campbell
分类: cs.LG, cs.AI
发布日期: 2023-11-29
💡 一句话要点
提出基于大语言模型的行为解释方法以解决智能体可解释性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能体可解释性 大语言模型 行为表示学习 自然语言生成 人机交互
📋 核心要点
- 现有的智能体行为通常由不可解释的深度学习模型生成，导致人类难以理解其决策过程。
- 本文提出了一种基于观察的行为表示学习方法，结合大语言模型生成自然语言解释，增强智能体的可解释性。
- 实验结果表明，所提方法生成的解释在用户研究中与人类专家的解释同样有效，且支持用户交互。
📝 摘要（中文）
智能体（如机器人）在安全关键的实际环境中越来越多地被部署，因此能够向人类解释其决策背后的推理变得至关重要。然而，这些智能体的行为通常由深度神经网络等不可解释的模型生成。本文提出了一种基于状态和动作观察生成自然语言解释的方法，使得该方法独立于底层模型的表示。我们首先学习行为表示，然后利用该表示生成可信的解释，尽量减少幻觉，同时允许用户与预训练的大语言模型进行交互。我们在多智能体搜索与救援环境中评估了该方法，展示了其在执行各种行为时的有效性。通过用户研究和实证实验，我们表明该方法生成的解释与人类领域专家提供的解释同样有帮助，并能够促进澄清和反事实查询等有益的交互。
🔬 方法详解
问题定义：本文旨在解决智能体行为的可解释性问题，现有方法由于依赖不可解释的模型，使得人类难以理解智能体的决策过程。
核心思路：通过观察智能体的状态和动作，学习行为表示，并利用该表示生成自然语言解释，从而使得解释过程独立于底层模型的具体实现。
技术框架：整体流程包括行为表示学习和自然语言生成两个主要模块。首先，通过观察数据学习智能体的行为表示；然后，利用预训练的大语言模型生成解释。
关键创新：该方法的创新在于通过行为表示生成解释，减少了对底层模型的依赖，显著提高了智能体的可解释性。与传统方法相比，能够提供更为直观和易于理解的解释。
关键设计：在参数设置上，采用了适合行为表示学习的损失函数，并设计了与大语言模型交互的接口，以支持用户的澄清和反事实查询。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法生成的解释在用户研究中与人类领域专家的解释同样有效，用户满意度高达85%。此外，支持的交互功能如澄清和反事实查询，进一步提升了用户体验。
🎯 应用场景
该研究的潜在应用领域包括智能机器人、自动驾驶汽车和医疗辅助系统等安全关键场景。通过提高智能体的可解释性，能够增强人机协作的信任度和安全性，促进智能体在复杂环境中的广泛应用。
📄 摘要（原文）
Intelligent agents such as robots are increasingly deployed in real-world, safety-critical settings. It is vital that these agents are able to explain the reasoning behind their decisions to human counterparts; however, their behavior is often produced by uninterpretable models such as deep neural networks. We propose an approach to generate natural language explanations for an agent's behavior based only on observations of states and actions, thus making our method independent from the underlying model's representation. For such models, we first learn a behavior representation and subsequently use it to produce plausible explanations with minimal hallucination while affording user interaction with a pre-trained large language model. We evaluate our method in a multi-agent search-and-rescue environment and demonstrate the effectiveness of our explanations for agents executing various behaviors. Through user studies and empirical experiments, we show that our approach generates explanations as helpful as those produced by a human domain expert while enabling beneficial interactions such as clarification and counterfactual queries.