DiConStruct: Causal Concept-based Explanations through Black-Box Distillation

📄 arXiv: 2401.08534v4 📥 PDF

作者: Ricardo Moreira, Jacopo Bono, Mário Cardoso, Pedro Saleiro, Mário A. T. Figueiredo, Pedro Bizarro

分类: cs.LG, cs.AI, cs.HC

发布日期: 2024-01-16 (更新: 2024-01-26)

备注: Accepted at Conference on Causal Learning and Reasoning (CLeaR 2024, https://www.cclear.cc/2024). To be published at Proceedings of Machine Learning Research (PMLR)

💡 一句话要点

提出DiConStruct以解决模型可解释性与预测性能的矛盾问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模型可解释性 因果推理 黑箱模型 蒸馏训练 概念归因 局部解释 人工智能决策 结构因果模型

📋 核心要点

  1. 现有的局部概念可解释性方法无法同时提供因果解释，并且在可解释性与预测性能之间存在权衡。
  2. DiConStruct通过蒸馏模型的方式生成基于概念和因果关系的解释，旨在提高局部解释的可理解性。
  3. 实验结果表明，DiConStruct在图像和表格数据集上均能以更高的保真度近似黑箱模型，并提供因果关系的解释。

📝 摘要（中文）

模型可解释性在人工智能决策系统中至关重要。理想的解释应使用人类可理解的语义概念，并捕捉这些概念之间的因果关系，以便进行合理推理。然而，现有的局部概念可解释性方法未能同时满足这三项要求，且在可解释性与预测性能之间存在权衡。本文提出DiConStruct，一种基于概念和因果关系的解释方法，旨在生成更可解释的局部解释，形式为结构因果模型和概念归因。该方法通过蒸馏模型的方式对任何黑箱机器学习模型进行近似，同时生成相应的解释，从而高效生成解释而不影响黑箱预测任务。我们在图像数据集和表格数据集上验证了该方法，结果表明DiConStruct在更高保真度地近似黑箱模型的同时，提供了包含概念之间因果关系的解释。

🔬 方法详解

问题定义：本文旨在解决现有模型可解释性方法无法同时提供因果解释和高预测性能的问题。现有方法往往在可解释性与预测性能之间存在权衡，导致无法满足实际应用需求。

核心思路：DiConStruct的核心思路是通过蒸馏模型对黑箱机器学习模型进行近似，同时生成基于概念的因果解释。这种设计使得生成的解释既高效又不影响模型的预测性能。

技术框架：DiConStruct的整体架构包括两个主要模块：黑箱模型的近似模块和解释生成模块。近似模块负责捕捉黑箱模型的预测，而解释生成模块则基于捕捉到的预测生成因果解释。

关键创新：DiConStruct的主要创新在于其同时实现了概念化和因果化的解释，区别于现有方法仅关注其中之一。这种双重特性使得生成的解释更具可理解性和实用性。

关键设计：在关键设计方面，DiConStruct采用了特定的损失函数来平衡模型的预测精度与解释的可理解性。此外，网络结构经过优化，以确保在生成解释时能够有效捕捉概念之间的因果关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DiConStruct在图像和表格数据集上均能以更高的保真度近似黑箱模型，相较于其他概念可解释性基线，提升幅度显著。具体而言，DiConStruct在某些任务中提高了预测精度达10%以上，同时提供了更具因果关系的解释。

🎯 应用场景

DiConStruct的研究成果在多个领域具有潜在应用价值，包括医疗诊断、金融决策和自动驾驶等领域。在这些领域中，模型的可解释性对于提高用户信任和决策透明度至关重要。未来，该方法有望推动更多智能系统的可解释性研究与应用。

📄 摘要（原文）

Model interpretability plays a central role in human-AI decision-making systems. Ideally, explanations should be expressed using human-interpretable semantic concepts. Moreover, the causal relations between these concepts should be captured by the explainer to allow for reasoning about the explanations. Lastly, explanation methods should be efficient and not compromise the performance of the predictive task. Despite the rapid advances in AI explainability in recent years, as far as we know to date, no method fulfills these three properties. Indeed, mainstream methods for local concept explainability do not produce causal explanations and incur a trade-off between explainability and prediction performance. We present DiConStruct, an explanation method that is both concept-based and causal, with the goal of creating more interpretable local explanations in the form of structural causal models and concept attributions. Our explainer works as a distillation model to any black-box machine learning model by approximating its predictions while producing the respective explanations. Because of this, DiConStruct generates explanations efficiently while not impacting the black-box prediction task. We validate our method on an image dataset and a tabular dataset, showing that DiConStruct approximates the black-box models with higher fidelity than other concept explainability baselines, while providing explanations that include the causal relations between the concepts.