Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings

📄 arXiv: 2403.05338v1 📥 PDF

作者: Wei Zhou, Heike Adel, Hendrik Schuff, Ngoc Thang Vu

分类: cs.CL

发布日期: 2024-03-08

💡 一句话要点

提出基于归因分数的分析方法以提升低资源环境下模型解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 归因分数 低资源环境 模型解释性 Shapley值采样 自然语言处理 机器学习

📋 核心要点

  1. 现有方法未能有效评估基于提示的模型在低资源环境中的归因分数质量，导致模型解释性不足。
  2. 论文提出通过分析基于提示的模型的归因分数，比较其与微调模型和大型语言模型的表现，探讨其可信性和忠实性。
  3. 研究结果表明，基于提示的模型在低资源环境中提供了更可信的解释，且Shapley值采样方法优于其他归因方法。

📝 摘要（中文）

归因分数指示了不同输入部分的重要性，从而可以解释模型行为。目前，基于提示的模型因其在低资源环境中的适应性而受到关注。然而，基于提示的模型提取的归因分数质量尚未得到研究。本文分析了基于提示的模型提取的归因分数的可信性和忠实性，并将其与微调模型和大型语言模型的归因分数进行了比较。与以往研究不同，我们引入了训练规模作为分析的另一个维度。研究发现，在低资源环境中，使用提示范式（无论是编码器还是解码器模型）比微调模型提供了更可信的解释，而Shapley值采样在提供更可信和忠实的解释方面始终优于注意力机制和集成梯度。

🔬 方法详解

问题定义：本文旨在解决在低资源环境中，基于提示的模型归因分数的可信性和忠实性评估不足的问题。现有方法未能充分探讨不同模型在归因分数质量上的差异。

核心思路：通过引入训练规模作为分析维度，比较基于提示的模型与微调模型和大型语言模型的归因分数，旨在揭示不同模型在解释性上的表现差异。

技术框架：研究采用了归因分数分析框架，主要包括数据准备、模型训练、归因分数提取和可信性评估四个阶段。数据准备阶段收集低资源环境下的文本数据，模型训练阶段分别训练不同类型的模型，归因分数提取阶段使用不同方法提取归因分数，可信性评估阶段则对比分析各模型的归因分数。

关键创新：引入训练规模作为分析维度是本文的主要创新点，能够更全面地评估模型在低资源环境下的表现。此外，Shapley值采样在提供更可信的解释方面表现优于传统的注意力机制和集成梯度。

关键设计：在模型训练中，采用了不同规模的训练数据集，并在归因分数提取中使用了Shapley值采样、注意力机制和集成梯度等多种方法，确保了结果的全面性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，基于提示的模型在低资源环境中提供的归因分数解释比微调模型更为可信，Shapley值采样方法在可信性和忠实性方面的表现优于注意力机制和集成梯度，具体提升幅度未明确给出。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，尤其是在资源有限的情况下，能够帮助开发者更好地理解和优化模型的行为，提升模型的可解释性和可靠性。未来，该方法还可能推动低资源环境下人工智能技术的广泛应用。

📄 摘要（原文）

Attribution scores indicate the importance of different input parts and can, thus, explain model behaviour. Currently, prompt-based models are gaining popularity, i.a., due to their easier adaptability in low-resource settings. However, the quality of attribution scores extracted from prompt-based models has not been investigated yet. In this work, we address this topic by analyzing attribution scores extracted from prompt-based models w.r.t. plausibility and faithfulness and comparing them with attribution scores extracted from fine-tuned models and large language models. In contrast to previous work, we introduce training size as another dimension into the analysis. We find that using the prompting paradigm (with either encoder-based or decoder-based models) yields more plausible explanations than fine-tuning the models in low-resource settings and Shapley Value Sampling consistently outperforms attention and Integrated Gradients in terms of leading to more plausible and faithful explanations.