Wrapper Boxes: Faithful Attribution of Model Predictions to Training Data
作者: Yiheng Su, Junyi Jessy Li, Matthew Lease
分类: cs.LG, cs.AI, cs.HC
发布日期: 2023-11-15 (更新: 2024-10-04)
期刊: The seventh edition of BlackboxNLP Workshop at EMNLP 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出Wrapper Boxes以解决模型决策可解释性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型可解释性 神经网络 经典模型 训练数据归因 自然语言处理 机器学习
📋 核心要点
- 现有方法在提供模型决策解释时，往往难以保持预测性能，导致可解释性与准确性之间的矛盾。
- 论文提出的wrapper box管道通过结合神经网络和经典可解释模型，解决了模型决策的透明性问题。
- 实验结果表明，wrapper经典模型在多个评估指标上与原始神经模型的性能相当，且在训练数据归因方面表现更优。
📝 摘要（中文）
本研究探讨如何在保持神经网络模型准确性的同时，提供对模型决策的可信解释。我们提出了一种“wrapper box”管道：首先正常训练神经模型，然后利用其学习到的特征表示在经典可解释模型中进行预测。通过对七种不同规模的语言模型进行实验，我们发现wrapper经典模型的预测性能与原始神经模型相当。由于经典模型的透明性，每个模型决策都由已知的训练示例决定，可以直接展示给用户。我们的管道在保留神经语言模型的预测性能的同时，能够忠实地将经典模型的决策归因于训练数据。这种归因使得模型决策可以基于负责任的训练实例进行质疑。与之前的工作相比，我们的方法在识别需要移除的训练数据以改变模型决策方面，覆盖率和正确性更高。
🔬 方法详解
问题定义：本研究旨在解决神经网络模型在提供决策解释时，无法保持高预测性能的问题。现有方法往往在可解释性和准确性之间存在矛盾，难以满足实际应用需求。
核心思路：我们提出的wrapper box管道通过先训练神经模型，再利用其特征表示在经典可解释模型中进行预测，从而实现高效的决策归因。这种设计使得模型决策能够直接与训练数据关联，增强了可解释性。
技术框架：该方法的整体架构包括两个主要阶段：第一阶段是训练神经网络模型，第二阶段是使用训练好的特征表示在经典模型中进行预测。通过这种方式，模型的透明性得以提升，同时保持了预测性能。
关键创新：本研究的主要创新在于将神经网络与经典可解释模型结合，形成wrapper box管道。这一方法在决策归因的覆盖率和正确性上优于现有方法，能够更有效地识别需要移除的训练数据。
关键设计：在实现过程中，我们设置了适当的损失函数以优化模型性能，并选择了多种经典模型进行对比实验。具体的参数设置和网络结构细节在源代码中有详细说明。
🖼️ 关键图片
📊 实验亮点
实验结果显示，wrapper经典模型的预测性能与原始神经模型相当，且在训练数据归因方面的覆盖率和正确性显著提高。具体而言，我们的方法在识别需要移除的训练数据以改变模型决策时，表现出更高的准确性和效率，优于现有的主流方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、推荐系统和任何需要模型可解释性的机器学习任务。通过提供透明的决策依据，用户可以更好地理解模型行为，进而在实际应用中提升信任度和可接受性。未来，该方法有望推动更多领域的模型可解释性研究与应用。
📄 摘要（原文）
Can we preserve the accuracy of neural models while also providing faithful explanations of model decisions to training data? We propose a "wrapper box'' pipeline: training a neural model as usual and then using its learned feature representation in classic, interpretable models to perform prediction. Across seven language models of varying sizes, including four large language models (LLMs), two datasets at different scales, three classic models, and four evaluation metrics, we first show that the predictive performance of wrapper classic models is largely comparable to the original neural models. Because classic models are transparent, each model decision is determined by a known set of training examples that can be directly shown to users. Our pipeline thus preserves the predictive performance of neural language models while faithfully attributing classic model decisions to training data. Among other use cases, such attribution enables model decisions to be contested based on responsible training instances. Compared to prior work, our approach achieves higher coverage and correctness in identifying which training data to remove to change a model decision. To reproduce findings, our source code is online at: https://github.com/SamSoup/WrapperBox.