Path Choice Matters for Clear Attribution in Path Methods

📄 arXiv: 2401.10442v1 📥 PDF

作者: Borui Zhang, Wenzhao Zheng, Jie Zhou, Jiwen Lu

分类: cs.CV, cs.LG

发布日期: 2024-01-19

备注: ICLR 2024 accepted

🔗 代码/项目: GITHUB

💡 一句话要点

提出集中原则与SAMP以解决路径选择导致的归因模糊问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 深度学习 可解释性 路径选择 集中原则 模型无关解释器

📋 核心要点

  1. 现有路径方法在归因时存在模糊性，导致对深度神经网络的解释不够清晰，影响人类信任。
  2. 提出集中原则，通过将高归因集中于关键特征，设计了SAMP模型无关的解释器以优化路径选择。
  3. 实验结果显示，SAMP在定位显著图像像素方面表现优异，且在定量评估中显著超越了其他对比方法。

📝 摘要（中文）

严谨性和清晰性对于深度神经网络（DNN）解释至关重要，以增强人类信任。路径方法常用于生成满足三项公理的严格归因。然而，由于不同的路径选择，归因的含义仍然模糊。为了解决这一模糊性，本文提出了集中原则，该原则将高归因集中分配给不可或缺的特征，从而赋予美观性和稀疏性。我们还提出了SAMP，这是一种模型无关的解释器，能够高效地从预定义的操作路径集中搜索近似最优路径。此外，我们提出了无穷小约束（IC）和动量策略（MS）以提高严格性和最优性。可视化结果表明，SAMP能够精确揭示DNN，通过定位显著的图像像素。定量实验表明，我们的方法显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决路径选择导致的深度神经网络归因模糊性问题。现有方法在归因时未能有效区分关键特征与冗余特征，影响了解释的清晰度和可靠性。

核心思路：提出集中原则，将高归因集中于不可或缺的特征，以提高归因的美观性和稀疏性。通过设计SAMP模型无关的解释器，能够从预定义的操作路径中高效搜索近似最优路径，减少模糊性。

技术框架：整体架构包括集中原则的应用、SAMP解释器的设计，以及无穷小约束（IC）和动量策略（MS）的实现。SAMP通过优化路径选择，确保归因的准确性和有效性。

关键创新：集中原则是本文的核心创新点，它与现有方法的本质区别在于强调了特征的重要性分配，确保了归因的清晰性和可解释性。

关键设计：在SAMP中，设置了无穷小约束以确保归因的严格性，同时采用动量策略来提高路径搜索的效率。具体的参数设置和损失函数设计均经过精心调整，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SAMP在定位显著图像像素方面的准确性显著提高，定量评估显示其性能超过了现有对比方法，提升幅度达到XX%（具体数据待补充）。可视化效果清晰，展示了DNN的决策依据，增强了模型的可解释性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、医疗影像分析和自动驾驶等领域，能够帮助用户更好地理解深度学习模型的决策过程，增强模型的可解释性和信任度。未来，该方法有望在更多复杂任务中推广应用，推动人工智能领域的透明化进程。

📄 摘要（原文）

Rigorousness and clarity are both essential for interpretations of DNNs to engender human trust. Path methods are commonly employed to generate rigorous attributions that satisfy three axioms. However, the meaning of attributions remains ambiguous due to distinct path choices. To address the ambiguity, we introduce \textbf{Concentration Principle}, which centrally allocates high attributions to indispensable features, thereby endowing aesthetic and sparsity. We then present \textbf{SAMP}, a model-agnostic interpreter, which efficiently searches the near-optimal path from a pre-defined set of manipulation paths. Moreover, we propose the infinitesimal constraint (IC) and momentum strategy (MS) to improve the rigorousness and optimality. Visualizations show that SAMP can precisely reveal DNNs by pinpointing salient image pixels. We also perform quantitative experiments and observe that our method significantly outperforms the counterparts. Code: https://github.com/zbr17/SAMP.