Are self-explanations from Large Language Models faithful?

📄 arXiv: 2401.07927v4 📥 PDF

作者: Andreas Madsen, Sarath Chandar, Siva Reddy

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-01-15 (更新: 2024-05-16)

备注: The 62nd Annual Meeting of the Association for Computational Linguistics

💡 一句话要点

提出自一致性检查以评估大语言模型自我解释的可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自我解释 可信度评估 自一致性检查 自然语言处理 模型解释性 反事实推理

📋 核心要点

  1. 现有方法难以评估大语言模型的自我解释是否真实反映其行为，且缺乏可访问的真实标签。
  2. 论文提出通过自一致性检查来评估自我解释的可信度，确保模型在做出预测时依赖于其所声称的重要特征。
  3. 实验结果表明，自我解释的可信度与具体的解释类型、模型和任务相关，不能一概而论。

📝 摘要（中文）

指令调优的大语言模型（LLMs）在许多任务中表现出色，甚至能够解释其推理过程，即自我解释。然而，令人信服但错误的自我解释可能导致对LLMs的过度信任，从而增加风险。因此，评估自我解释是否真实反映模型行为至关重要。本文提出使用自一致性检查来衡量可信度，发现自我解释的可信度依赖于解释、模型和任务，表明自我解释不应被普遍信任。以情感分类为例，Llama2在反事实方面更具可信度，Mistral在特征归因方面更优，而Falcon 40B在删减解释方面表现突出。

🔬 方法详解

问题定义：本文旨在解决大语言模型自我解释的可信度评估问题。现有方法面临的挑战在于缺乏真实标签，且许多模型仅提供推理API，导致难以验证自我解释的真实性。

核心思路：论文提出使用自一致性检查作为评估工具，核心思想是如果模型声称某些词对预测重要，则在没有这些词的情况下模型不应做出预测。

技术框架：整体流程包括自我解释生成、特征重要性识别和自一致性验证三个主要模块。首先生成自我解释，然后识别关键特征，最后通过验证模型在缺失特征情况下的预测能力来评估可信度。

关键创新：最重要的技术创新在于将自一致性检查成功应用于大语言模型的自我解释评估，尤其是在反事实、特征归因和删减解释方面的应用。

关键设计：关键设计包括选择合适的特征重要性度量方法、设定自一致性检查的阈值，以及在不同模型和任务上进行实验验证，以确保评估的全面性和准确性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，自我解释的可信度在不同模型和任务中存在显著差异。例如，在情感分类任务中，Llama2的反事实解释表现出更高的可信度，而Mistral在特征归因方面表现优异，Falcon 40B则在删减解释中更具可信度。这些发现强调了自我解释的任务依赖性，提示研究者在使用自我解释时需谨慎。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型解释性评估、AI系统的安全性和可靠性提升等。通过提高自我解释的可信度，能够增强用户对AI系统的信任，促进其在医疗、金融等关键领域的应用，未来可能影响AI系统的设计和监管标准。

📄 摘要（原文）

Instruction-tuned Large Language Models (LLMs) excel at many tasks and will even explain their reasoning, so-called self-explanations. However, convincing and wrong self-explanations can lead to unsupported confidence in LLMs, thus increasing risk. Therefore, it's important to measure if self-explanations truly reflect the model's behavior. Such a measure is called interpretability-faithfulness and is challenging to perform since the ground truth is inaccessible, and many LLMs only have an inference API. To address this, we propose employing self-consistency checks to measure faithfulness. For example, if an LLM says a set of words is important for making a prediction, then it should not be able to make its prediction without these words. While self-consistency checks are a common approach to faithfulness, they have not previously been successfully applied to LLM self-explanations for counterfactual, feature attribution, and redaction explanations. Our results demonstrate that faithfulness is explanation, model, and task-dependent, showing self-explanations should not be trusted in general. For example, with sentiment classification, counterfactuals are more faithful for Llama2, feature attribution for Mistral, and redaction for Falcon 40B.