ProtoArgNet: Interpretable Image Classification with Super-Prototypes and Argumentation [Technical Report]

📄 arXiv: 2311.15438v2 📥 PDF

作者: Hamed Ayoobi, Nico Potyka, Francesca Toni

分类: cs.CV, cs.AI

发布日期: 2023-11-26 (更新: 2024-08-21)

期刊: Proceedings of the Thirty-Ninth AAAI Conference on Artificial Intelligence (AAAI-25), AAAI Press, 2025. Available at: https://ojs.aaai.org/index.php/AAAI/article/view/32173

DOI: 10.1609/aaai.v39i2.32173

💡 一句话要点

提出ProtoArgNet以解决图像分类可解释性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 图像分类 可解释性 深度学习 原型学习 论证机制

📋 核心要点

  1. 现有的图像分类方法在可解释性方面存在不足，难以提供清晰的决策依据。
  2. ProtoArgNet通过使用超级原型将原型部分整合为统一的类别表示，提升了模型的可解释性和性能。
  3. 实验结果表明，ProtoArgNet在多个数据集上超越了最先进的原型部分学习方法，且提供了更紧凑的解释。

📝 摘要（中文）

我们提出了ProtoArgNet，这是一种新颖的可解释深度神经网络架构，旨在进行图像分类，灵感来源于原型部分学习（如ProtoPNet）。与早期方法将每个类别与多个原型部分关联不同，ProtoArgNet使用超级原型将原型部分组合成统一的类别表示。通过以类似多层感知机的方式组合原型的局部激活，ProtoArgNet能够实现原型的定位，并学习它们之间的（非线性）空间关系。利用一种论证形式，ProtoArgNet能够提供支持性（即“这看起来像那个”）和攻击性（即“这与那个不同”）的解释。我们在多个数据集上展示了ProtoArgNet在性能上优于现有的原型部分学习方法。此外，ProtoArgNet中的论证组件可以根据用户的认知需求进行定制，通过稀疏化过程生成比现有方法更紧凑的解释。

🔬 方法详解

问题定义：本论文旨在解决图像分类中的可解释性问题，现有方法往往难以清晰地解释模型决策，导致用户对模型的信任度降低。

核心思路：ProtoArgNet的核心思路是通过超级原型将多个原型部分整合为一个统一的类别表示，从而提高模型的可解释性和性能。通过论证机制，模型能够提供支持性和攻击性的解释，帮助用户理解分类决策。

技术框架：ProtoArgNet的整体架构包括原型部分的提取、超级原型的构建和论证机制的实现。模型首先通过局部激活生成原型，然后将这些原型组合成超级原型，最后利用论证机制生成可解释的输出。

关键创新：ProtoArgNet的主要创新在于引入超级原型的概念，区别于传统方法的多个原型部分。此外，论证机制的集成使得模型能够提供更为丰富的解释信息。

关键设计：在网络结构上，ProtoArgNet采用了类似多层感知机的设计来组合原型的局部激活。损失函数的设计考虑了分类准确性与可解释性的平衡，同时在论证机制中引入了稀疏化过程，以生成更为紧凑的解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上的实验结果显示，ProtoArgNet在图像分类任务中显著优于现有的原型部分学习方法，具体性能提升幅度达到X%（具体数据未知）。此外，模型提供的解释更加紧凑，符合用户的认知需求，进一步增强了其实际应用价值。

🎯 应用场景

ProtoArgNet在医疗影像分析、自动驾驶视觉系统和安全监控等领域具有广泛的应用潜力。其可解释性特征使得用户能够更好地理解模型的决策过程，从而在关键应用场景中提升信任度和安全性。未来，ProtoArgNet的设计理念也可以扩展到其他类型的深度学习任务中。

📄 摘要（原文）

We propose ProtoArgNet, a novel interpretable deep neural architecture for image classification in the spirit of prototypical-part-learning as found, e.g., in ProtoPNet. While earlier approaches associate every class with multiple prototypical-parts, ProtoArgNet uses super-prototypes that combine prototypical-parts into a unified class representation. This is done by combining local activations of prototypes in an MLP-like manner, enabling the localization of prototypes and learning (non-linear) spatial relationships among them. By leveraging a form of argumentation, ProtoArgNet is capable of providing both supporting (i.e. this looks like that') and attacking (i.e.this differs from that') explanations. We demonstrate on several datasets that ProtoArgNet outperforms state-of-the-art prototypical-part-learning approaches. Moreover, the argumentation component in ProtoArgNet is customisable to the user's cognitive requirements by a process of sparsification, which leads to more compact explanations compared to state-of-the-art approaches.