FaithLM: Towards Faithful Explanations for Large Language Models

📄 arXiv: 2402.04678v4 📥 PDF

作者: Yu-Neng Chuang, Guanchu Wang, Chia-Yuan Chang, Ruixiang Tang, Shaochen Zhong, Fan Yang, Mengnan Du, Xuanting Cai, Vladimir Braverman, Xia Hu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-07 (更新: 2025-10-27)

💡 一句话要点

提出FaithLM以解决大型语言模型解释的可信度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可信度 自然语言处理 可解释人工智能 干预评估

📋 核心要点

  1. 现有的大型语言模型生成的解释缺乏可信度，无法准确反映模型的决策依据。
  2. 提出了FaithLM框架，通过干预属性形式化解释的可信度，并迭代优化引导提示和解释。
  3. 实验结果表明，FaithLM在多个数据集上显著提高了解释的可信度，超越了现有的自我解释基线。

📝 摘要（中文）

大型语言模型（LLMs）越来越多地生成自然语言解释，但这些解释往往缺乏可信度，无法可靠地反映模型用于决策的证据。本文提出了FaithLM，一个模型无关的框架，旨在评估和提高LLM解释的可信度，而无需进行标记掩蔽或特定任务的启发式方法。FaithLM将解释的可信度形式化为一种干预属性：当其内容被否定时，可信的解释应导致预测的变化。理论分析表明，得到的反向提示分数是可信度的有效和可区分的估计器。基于这一原则，FaithLM迭代地优化引导提示和解释，以最大化测量得分。在三个多领域数据集和多个LLM基础模型上的实验表明，FaithLM始终提高了可信度，并生成了与人类推理更一致的解释，超越了强自我解释基线。这些发现强调了基于干预的评估与迭代优化相结合，为实现可信和可靠的LLM解释提供了一个原则性途径。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的自然语言解释缺乏可信度的问题。现有方法无法有效反映模型的决策依据，导致用户对模型输出的信任度降低。

核心思路：论文提出的FaithLM框架将解释的可信度视为一种干预属性，设计了反向提示分数作为可信度的评估指标。通过对解释内容的否定，观察预测的变化，从而评估解释的可信度。

技术框架：FaithLM的整体架构包括两个主要模块：引导提示优化和解释迭代优化。首先，通过干预评估引导提示的有效性，然后根据评估结果迭代优化解释内容，以提高可信度得分。

关键创新：最重要的创新在于将解释的可信度形式化为干预属性，并提出反向提示分数作为可信度的有效估计器。这一方法与现有依赖于标记掩蔽或特定任务启发式的评估方法有本质区别。

关键设计：在设计中，FaithLM采用了迭代优化策略，通过不断调整引导提示和解释内容，最大化反向提示分数。具体的损失函数和参数设置在实验中经过细致调优，以确保模型的稳定性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FaithLM在三个多领域数据集上显著提高了解释的可信度，反向提示分数的提升幅度超过了现有强自我解释基线，表明该方法在生成与人类推理一致的解释方面具有明显优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和人机交互等。通过提高大型语言模型的解释可信度，能够增强用户对模型输出的信任，促进其在实际应用中的广泛采用。未来，FaithLM的框架还可以扩展到其他类型的模型和任务中，进一步推动可解释人工智能的发展。

📄 摘要（原文）

Large language models (LLMs) increasingly produce natural language explanations, yet these explanations often lack faithfulness, and they do not reliably reflect the evidence the model uses to decide. We introduce FaithLM, a model-agnostic framework that evaluates and improves the faithfulness of LLM explanations without token masking or task-specific heuristics. FaithLM formalizes explanation faithfulness as an intervention property: a faithful explanation should yield a prediction shift when its content is contradicted. Theoretical analysis shows that the resulting contrary-hint score is a sound and discriminative estimator of faithfulness. Building on this principle, FaithLM iteratively refines both the elicitation prompt and the explanation to maximize the measured score. Experiments on three multi-domain datasets and multiple LLM backbones demonstrate that FaithLM consistently increases faithfulness and produces explanations more aligned with human rationales than strong self-explanation baselines. These findings highlight that intervention-based evaluation, coupled with iterative optimization, provides a principled route toward faithful and reliable LLM explanations.