MultiFIX: An XAI-friendly feature inducing approach to building models from multimodal data

📄 arXiv: 2402.12183v1 📥 PDF

作者: Mafalda Malafaia, Thalea Schlender, Peter A. N. Bosman, Tanja Alderliesten

分类: cs.AI

发布日期: 2024-02-19

备注: 8 pages, 9 figures

💡 一句话要点

提出MultiFIX以解决多模态数据融合中的可解释性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 可解释人工智能 深度学习 特征提取 医疗诊断 符号表达 注意力机制

📋 核心要点

  1. 现有多模态融合方法在特征提取和解释性方面存在不足，难以有效理解各模态对预测结果的影响。
  2. MultiFIX通过明确诱导不同数据类型的独立特征，并结合这些特征进行最终预测，增强了模型的可解释性。
  3. 在合成问题上的实验结果展示了MultiFIX的优势，并在公开数据集上成功应用于恶性皮肤病变的检测。

📝 摘要（中文）

在健康领域，决策通常基于不同的数据模态。因此，在创建预测模型时，能够提取和结合不同数据模态相关特征的多模态融合方法具有重要意义。尤其在高风险领域，理解每种模态对最终预测的影响至关重要，以确保模型的可信性和责任感。本文提出MultiFIX：一种新的以可解释性为中心的多模态数据融合管道，明确从不同数据类型中诱导独立特征，随后结合以进行最终预测。采用端到端深度学习架构训练预测模型并提取每种模态的代表性特征。模型的每个部分都使用可解释人工智能技术进行解释，图像输入的重要区域通过注意力图进行突出显示，表格输入的贡献则通过GP-GOMEA学习的可解释符号表达进行描述。最后，MultiFIX在公开数据集上应用于恶性皮肤病变的检测。

🔬 方法详解

问题定义：本文旨在解决多模态数据融合中缺乏可解释性的问题。现有方法往往无法清晰地展示不同模态对最终预测的贡献，尤其在高风险领域，这种缺乏透明度可能导致信任危机。

核心思路：MultiFIX的核心思路是通过明确诱导来自不同模态的独立特征，并结合这些特征进行最终预测，从而提升模型的可解释性和信任度。采用深度学习架构来训练模型并提取特征，同时使用可解释人工智能技术对模型进行解释。

技术框架：MultiFIX的整体架构包括特征提取模块、融合模块和解释模块。特征提取模块使用深度学习方法从不同模态中提取代表性特征，融合模块将这些特征结合以进行预测，解释模块则使用注意力图和符号表达来解释模型的决策过程。

关键创新：MultiFIX的主要创新在于其可解释性设计，通过GP-GOMEA学习的符号表达来描述表格输入的贡献，并用注意力图突出图像输入的重要区域。这种设计使得模型不仅能够进行预测，还能提供清晰的解释。

关键设计：在模型设计中，采用了深度学习网络结构以提取特征，损失函数则根据预测任务进行优化。符号表达的学习通过GP-GOMEA实现，确保了模型的可解释性和透明度。特征融合过程也被替换为符号表达，以增强模型的可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成问题上的实验结果表明，MultiFIX在特征提取和可解释性方面表现出色，能够有效地提升模型的预测性能。具体而言，与基线模型相比，MultiFIX在准确率和可解释性上均有显著提升，展示了其在恶性皮肤病变检测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗诊断、风险评估和决策支持系统等，尤其是在需要高可信度和可解释性的高风险领域。MultiFIX的设计能够帮助医疗专业人员更好地理解模型的决策过程，从而提高临床决策的质量和安全性。未来，该方法有望在其他领域的多模态数据分析中发挥重要作用。

📄 摘要（原文）

In the health domain, decisions are often based on different data modalities. Thus, when creating prediction models, multimodal fusion approaches that can extract and combine relevant features from different data modalities, can be highly beneficial. Furthermore, it is important to understand how each modality impacts the final prediction, especially in high-stake domains, so that these models can be used in a trustworthy and responsible manner. We propose MultiFIX: a new interpretability-focused multimodal data fusion pipeline that explicitly induces separate features from different data types that can subsequently be combined to make a final prediction. An end-to-end deep learning architecture is used to train a predictive model and extract representative features of each modality. Each part of the model is then explained using explainable artificial intelligence techniques. Attention maps are used to highlight important regions in image inputs. Inherently interpretable symbolic expressions, learned with GP-GOMEA, are used to describe the contribution of tabular inputs. The fusion of the extracted features to predict the target label is also replaced by a symbolic expression, learned with GP-GOMEA. Results on synthetic problems demonstrate the strengths and limitations of MultiFIX. Lastly, we apply MultiFIX to a publicly available dataset for the detection of malignant skin lesions.