On Measuring Faithfulness or Self-consistency of Natural Language Explanations

📄 arXiv: 2311.07466v4 📥 PDF

作者: Letitia Parcalabescu, Anette Frank

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-11-13 (更新: 2024-09-18)

备注: Paper accepted for publication at ACL 2024 Main (Bangkok, Thailand); 10 main paper pages, 30 appendix pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出自一致性测量方法以评估语言模型解释的可信度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 自一致性 可信度测试 模型解释性 自然语言处理 机器学习 深度学习

📋 核心要点

  1. 现有的可信度测试未能有效衡量语言模型内部推理的一致性，主要集中在输出层面的一致性。
  2. 本文提出了一种新的自一致性测量方法CC-SHAP，旨在更深入地评估模型的内部一致性，而非仅仅依赖于表面输出。
  3. 通过构建比较一致性库，本文在多个开放LLM和任务上进行了系统比较，验证了新方法的有效性。

📝 摘要（中文）

大型语言模型（LLMs）可以通过事后或链式思维（CoT）解释其预测。然而，LLM可能会生成听起来合理但与其内在推理不一致的解释。现有的可信度测试主要评估输出的一致性，而非模型内部工作的一致性。本文的贡献包括：一是明确了可信度测试的性质，将其视为自一致性测试；二是构建了比较一致性库，首次在11个开放LLM和5个任务上比较现有测试；三是提出了新的自一致性度量CC-SHAP，能够更细致地评估LLM的自一致性，分析模型预测与解释生成之间的关系。代码已公开在GitHub上。

🔬 方法详解

问题定义：本文旨在解决现有可信度测试未能反映语言模型内部推理一致性的问题，现有方法主要集中在输出层面，缺乏对模型内部机制的深入理解。

核心思路：提出自一致性度量CC-SHAP，旨在通过比较输入对预测答案和生成解释的贡献，评估模型的自一致性，从而更接近模型的内部工作机制。

技术框架：整体架构包括构建比较一致性库和CC-SHAP度量，比较不同模型在相同任务下的自一致性表现，分析其内部推理过程。

关键创新：CC-SHAP作为一种细粒度的自一致性度量，能够揭示模型在生成解释时的内部逻辑，与现有的输出一致性测试有本质区别。

关键设计：CC-SHAP度量设计了特定的参数设置，关注输入对输出的影响，确保度量的细致性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CC-SHAP在评估自一致性方面优于现有的可信度测试，能够更准确地反映模型的内部推理过程。通过在11个开放LLM和5个任务上的比较，CC-SHAP展示了显著的性能提升，提供了更深入的分析视角。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型解释性、信任度评估以及人机交互等。通过提高对语言模型内部推理过程的理解，可以增强模型在实际应用中的透明度和可靠性，促进更广泛的应用。

📄 摘要（原文）

Large language models (LLMs) can explain their predictions through post-hoc or Chain-of-Thought (CoT) explanations. But an LLM could make up reasonably sounding explanations that are unfaithful to its underlying reasoning. Recent work has designed tests that aim to judge the faithfulness of post-hoc or CoT explanations. In this work we argue that these faithfulness tests do not measure faithfulness to the models' inner workings -- but rather their self-consistency at output level. Our contributions are three-fold: i) We clarify the status of faithfulness tests in view of model explainability, characterising them as self-consistency tests instead. This assessment we underline by ii) constructing a Comparative Consistency Bank for self-consistency tests that for the first time compares existing tests on a common suite of 11 open LLMs and 5 tasks -- including iii) our new self-consistency measure CC-SHAP. CC-SHAP is a fine-grained measure (not a test) of LLM self-consistency. It compares how a model's input contributes to the predicted answer and to generating the explanation. Our fine-grained CC-SHAP metric allows us iii) to compare LLM behaviour when making predictions and to analyse the effect of other consistency tests at a deeper level, which takes us one step further towards measuring faithfulness by bringing us closer to the internals of the model than strictly surface output-oriented tests. Our code is available at \url{https://github.com/Heidelberg-NLP/CC-SHAP}