Decoding the Multimodal Maze: A Systematic Review on the Adoption of Explainability in Multimodal Attention-based Models
作者: Md Raisul Kibria, Sébastien Lafond, Janan Arslan
分类: cs.LG, cs.AI
发布日期: 2026-06-12
💡 一句话要点
系统评估多模态注意力模型的可解释性研究
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 可解释人工智能 注意力模型 模型评估 系统评审 透明性 标准化方法
📋 核心要点
- 现有的多模态注意力模型在解释性方面存在不足，尤其是在捕捉模态间交互时的挑战。
- 本文通过系统评审现有文献，提出了促进多模态可解释性研究的建议，旨在填补现有研究的空白。
- 研究发现，当前的评估方法缺乏一致性和系统性，影响了多模态XAI的有效性和可靠性。
📝 摘要（中文）
近年来，多模态学习取得了显著进展，尤其是注意力模型的整合，提升了多种任务的性能。与此同时，对可解释人工智能（XAI）的需求推动了相关研究的发展，旨在解读这些模型复杂的决策过程。本文系统评审了2020年1月至2024年初间发表的关于多模态模型可解释性的研究，分析了模型架构、涉及的模态、解释算法及评估方法等多个维度。研究发现，大多数研究集中在视觉-语言和语言单一模型上，注意力技术是最常用的解释方法，但这些方法往往无法全面捕捉模态间的交互。此外，多模态环境下的XAI评估方法缺乏系统性和一致性。为此，本文综合了调查结果并提出了一系列建议，以促进多模态XAI研究中的严格、透明和标准化的评估与报告实践。
🔬 方法详解
问题定义：本文旨在解决多模态注意力模型在可解释性方面的不足，尤其是现有方法在捕捉模态间交互时的局限性。
核心思路：通过系统评审现有文献，分析不同模型架构和解释算法，提出标准化的评估方法，以提升多模态XAI的透明度和可靠性。
技术框架：研究首先对2020年至2024年间的相关文献进行分类，分析模型架构、模态、解释算法及评估方法，然后提出改进建议，形成一个系统的评估框架。
关键创新：本文的创新在于系统性地整合了多模态模型的可解释性研究，提出了针对性强的评估标准，填补了现有研究的空白。
关键设计：在评估方法中，考虑了模态特定的认知和上下文因素，强调了评估的一致性和系统性，确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
研究表明，当前多模态XAI的评估方法缺乏一致性，影响了模型的可解释性。通过系统评审，提出了标准化的评估框架，旨在提升多模态模型的透明度和可靠性，为未来研究提供了重要参考。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、自动驾驶、社交媒体内容分析等，能够帮助开发更具可解释性的多模态人工智能系统，提高用户信任度和系统透明度。未来，随着多模态AI的广泛应用，研究成果将推动相关领域的技术进步和应用落地。
📄 摘要（原文）
Multimodal learning has witnessed remarkable advancements in recent years, particularly with the integration of attention-based models, leading to significant performance gains across a variety of tasks. Parallel to this progress, the demand for explainable artificial intelligence (XAI) has spurred a growing body of research aimed at interpreting the complex decision-making processes of these models. This systematic literature review analyzes research published between January 2020 and early 2024 that focuses on the explainability of multimodal models. Framed within the broader goals of XAI, we examine the literature across multiple dimensions, including model architecture, modalities involved, explanation algorithms and evaluation methodologies. Our analysis reveals that most studies are concentrated on vision-language and language-only models, with attention-based techniques being the most commonly employed for explanation. However, these methods often fall short in capturing the full spectrum of interactions between modalities, a challenge further compounded by the architectural heterogeneity across domains. Importantly, we find that evaluation methods for XAI in multimodal settings are largely non-systematic, lacking consistency, robustness, and consideration for modality-specific cognitive and contextual factors. To address these gaps, we not only synthesize findings from the surveyed works but also incorporate a complementary analysis that integrates recent and emerging advances driving multimodal explainability. Based on these insights, we provide a comprehensive set of recommendations aimed at promoting rigorous, transparent, and standardized evaluation and reporting practices in multimodal XAI research. Our goal is to support future research in more interpretable, accountable, and responsible multimodal AI systems, with explainability at their core.