LLMCheckup: Conversational Examination of Large Language Models via Interpretability Tools and Self-Explanations

📄 arXiv: 2401.12576v2 📥 PDF

作者: Qianli Wang, Tatiana Anikina, Nils Feldhus, Josef van Genabith, Leonhard Hennig, Sebastian Möller

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-23 (更新: 2024-04-24)

备注: Accepted to NAACL 2024 HCI+NLP workshop; camera-ready version

💡 一句话要点

提出LLMCheckup以解决对大型语言模型的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性工具 对话系统 用户意图识别 大型语言模型 可解释人工智能 事实核查 常识问答

📋 核心要点

  1. 现有的对话式解释工具往往依赖外部模块，难以适应多种任务，限制了其应用范围。
  2. LLMCheckup通过连接多种可解释性方法，使用户能够与LLM进行对话，获取解释和意图识别，且无需微调。
  3. 该工具在事实核查和常识问答任务中展示了其有效性，显著提升了用户意图识别的准确性。

📝 摘要（中文）

可解释性工具通过对话形式提供解释，已被证明能有效增强用户理解。然而，现有的对话式解释方案往往依赖外部工具，且难以迁移至未设计的任务。LLMCheckup是一个易于访问的工具，允许用户与任何先进的大型语言模型（LLM）对话，了解其行为。该工具通过连接多种可解释人工智能（XAI）方法，使LLM能够生成解释并进行用户意图识别，而无需微调。LLMCheckup支持互动对话，允许后续提问并生成建议，同时提供适用于不同专业水平用户的操作教程。

🔬 方法详解

问题定义：本论文旨在解决现有对话式解释工具的局限性，特别是其对外部工具的依赖性和迁移性不足的问题。

核心思路：LLMCheckup的核心思想是通过整合多种可解释性方法，使用户能够与LLM进行自然对话，获取实时的解释和反馈，而无需对模型进行微调。

技术框架：LLMCheckup的整体架构包括用户界面、LLM接口和可解释性工具模块。用户通过界面与LLM进行交互，LLM则利用可解释性工具生成解释和识别用户意图。

关键创新：最重要的创新在于引入了一种新的解析策略，显著提高了用户意图识别的准确性，与现有方法相比，能够更好地理解用户的后续提问。

关键设计：在设计中，LLMCheckup采用了多种可解释性工具，如特征归因和自我解释，支持多种输入方式，并为不同专业水平的用户提供了操作教程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LLMCheckup在事实核查和常识问答任务中表现出色，用户意图识别的准确性显著提高，具体提升幅度未知。该工具的设计使其能够适应不同用户的需求，展示了良好的灵活性和实用性。

🎯 应用场景

LLMCheckup的潜在应用领域包括教育、客户支持和研究等多个领域。通过提供实时的对话式解释，该工具能够帮助用户更好地理解复杂的模型行为，从而提升决策质量和用户体验。未来，该工具可能在更多领域得到推广，促进可解释人工智能的发展。

📄 摘要（原文）

Interpretability tools that offer explanations in the form of a dialogue have demonstrated their efficacy in enhancing users' understanding (Slack et al., 2023; Shen et al., 2023), as one-off explanations may fall short in providing sufficient information to the user. Current solutions for dialogue-based explanations, however, often require external tools and modules and are not easily transferable to tasks they were not designed for. With LLMCheckup, we present an easily accessible tool that allows users to chat with any state-of-the-art large language model (LLM) about its behavior. We enable LLMs to generate explanations and perform user intent recognition without fine-tuning, by connecting them with a broad spectrum of Explainable AI (XAI) methods, including white-box explainability tools such as feature attributions, and self-explanations (e.g., for rationale generation). LLM-based (self-)explanations are presented as an interactive dialogue that supports follow-up questions and generates suggestions. LLMCheckupprovides tutorials for operations available in the system, catering to individuals with varying levels of expertise in XAI and supporting multiple input modalities. We introduce a new parsing strategy that substantially enhances the user intent recognition accuracy of the LLM. Finally, we showcase LLMCheckup for the tasks of fact checking and commonsense question answering.