Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention

📄 arXiv: 2312.15033v1 📥 PDF

作者: Zhen Tan, Tianlong Chen, Zhenyu Zhang, Huan Liu

分类: cs.CL, cs.AI

发布日期: 2023-12-22

备注: Accepted to AAAI 2024

💡 一句话要点

提出SparseCBM，利用稀疏性引导实现LLM的整体可解释性，并支持推理时干预。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 可解释性 稀疏性 推理时干预 整体解释 子网络提取 概念发现

📋 核心要点

  1. 现有LLM可解释性方法通常只关注局部或全局，缺乏多维度、整体性的解释能力。
  2. SparseCBM利用稀疏性引导，从输入、子网络和概念三个层面提供LLM的整体解释。
  3. SparseCBM引入了推理时干预机制，允许在部署阶段动态调整模型，提升模型准确性。

📝 摘要（中文）

大型语言模型（LLM）在自然语言处理领域取得了前所未有的突破。然而，LLM神秘的“黑盒”特性仍然是可解释性的一个重大挑战，阻碍了透明和负责任的应用。过去的注意力可视化、关键子网络提取和基于概念的分析等方法虽然提供了一些见解，但它们通常侧重于单个维度内的局部或全局解释，有时无法提供全面的清晰度。为此，我们提出了一种基于稀疏性引导技术的新方法，旨在提供LLM的整体解释。我们的框架SparseCBM创新性地整合了稀疏性，以阐明输入、子网络和概念层这三个相互关联的解释层次。此外，新引入的可解释推理时干预维度有助于在部署期间动态调整模型。通过对真实世界数据集的严格实证评估，我们证明SparseCBM能够深刻理解LLM的行为，在解释和改善模型不准确性方面都表现出色。代码已在补充材料中提供。

🔬 方法详解

问题定义：现有LLM的可解释性方法，如注意力机制可视化、关键子网络提取等，往往只能提供局部或全局的解释，无法从多个维度全面理解LLM的决策过程。此外，这些方法缺乏在推理时动态调整模型行为的能力，难以应对实际应用中的不确定性。

核心思路：SparseCBM的核心思路是利用稀疏性作为桥梁，连接输入、子网络和概念三个层面的解释。通过在不同层面引入稀疏性约束，可以识别对模型预测起关键作用的输入特征、子网络结构和概念。同时，SparseCBM引入了推理时干预机制，允许用户根据对模型行为的理解，在推理过程中动态调整模型的预测。

技术框架：SparseCBM框架包含三个主要模块：1) 稀疏输入选择模块，用于识别对模型预测影响最大的输入特征；2) 稀疏子网络提取模块，用于提取模型中对特定任务至关重要的子网络；3) 稀疏概念发现模块，用于识别模型学习到的关键概念。这三个模块通过稀疏性约束相互关联，共同提供对LLM的整体解释。此外，框架还包含一个推理时干预模块，允许用户根据对模型行为的理解，在推理过程中调整模型的预测。

关键创新：SparseCBM最重要的创新点在于其整体性的解释方法和推理时干预机制。与以往只关注单一维度解释的方法不同，SparseCBM从输入、子网络和概念三个层面提供对LLM的全面理解。此外，推理时干预机制允许用户在部署阶段动态调整模型行为，提高了模型的鲁棒性和适应性。

关键设计：SparseCBM的关键设计包括：1) 使用L1正则化或其它稀疏性约束方法，在输入选择、子网络提取和概念发现过程中引入稀疏性；2) 设计合适的损失函数，鼓励模型学习稀疏的表示；3) 设计用户友好的干预界面，允许用户方便地调整模型预测。具体的参数设置和网络结构会根据不同的LLM和任务进行调整。

📊 实验亮点

论文在真实世界数据集上进行了实验，证明SparseCBM能够有效地解释LLM的行为，并提高模型的准确性。具体来说，SparseCBM在多个任务上取得了显著的性能提升，并且能够识别出对模型预测起关键作用的输入特征、子网络结构和概念。与现有的可解释性方法相比，SparseCBM能够提供更全面、更深入的解释。

🎯 应用场景

SparseCBM可应用于各种需要可解释性和可靠性的LLM应用场景，例如金融风控、医疗诊断、法律咨询等。通过提供对模型决策过程的深入理解，SparseCBM可以帮助用户建立对模型的信任，并及时发现和纠正模型中的错误。此外，推理时干预机制可以提高模型在实际应用中的鲁棒性和适应性。

📄 摘要（原文）

Large Language Models (LLMs) have achieved unprecedented breakthroughs in various natural language processing domains. However, the enigmatic ``black-box'' nature of LLMs remains a significant challenge for interpretability, hampering transparent and accountable applications. While past approaches, such as attention visualization, pivotal subnetwork extraction, and concept-based analyses, offer some insight, they often focus on either local or global explanations within a single dimension, occasionally falling short in providing comprehensive clarity. In response, we propose a novel methodology anchored in sparsity-guided techniques, aiming to provide a holistic interpretation of LLMs. Our framework, termed SparseCBM, innovatively integrates sparsity to elucidate three intertwined layers of interpretation: input, subnetwork, and concept levels. In addition, the newly introduced dimension of interpretable inference-time intervention facilitates dynamic adjustments to the model during deployment. Through rigorous empirical evaluations on real-world datasets, we demonstrate that SparseCBM delivers a profound understanding of LLM behaviors, setting it apart in both interpreting and ameliorating model inaccuracies. Codes are provided in supplements.