DocXEval: A Systematic Evaluation of Explainability in Multimodal Document Understanding

📄 arXiv: 2610.36929v1 📥 PDF

作者: Saifullah Saifullah, David Dembinsky, Stefan Agne, Andreas Dengel, Sheraz Ahmed

分类: cs.CL, cs.CV

发布日期: 2026-10-27

🔗 代码/项目: GITHUB

💡 一句话要点

提出DocXEval以解决多模态文档理解中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态文档理解 可解释人工智能 XAI方法 Occlusion方法 模型评估 数据集分析 信任度提升

📋 核心要点

  1. 现有多模态文档理解模型的黑箱特性限制了其在高风险领域的安全应用，缺乏有效的可解释性研究。
  2. 本文提出DocXEval框架，系统评估多模态文档理解中的可解释性，适配现有XAI方法与评估指标。
  3. 实验结果显示，Occlusion方法在多个评估标准中表现优异，为未来的XAI研究提供了基准和指导。

📝 摘要（中文）

多模态变换器模型在现代文档理解中取得了前所未有的性能突破。然而，这些模型的黑箱特性仍然是其在高风险领域安全部署的主要障碍。尽管在视觉和语言任务的可解释性方面取得了显著进展，但针对多模态文档理解的可解释人工智能（XAI）研究却鲜有关注。为填补这一空白，本文提出了DocXEval，这是第一个全面的可解释性框架，适应现有的XAI方法和评估指标，专门针对多模态（文本、布局和图像）文档理解的背景。通过DocXEval，我们系统地评估了13种XAI方法在3个文档理解任务、8个数据集、4个模型和17个评估指标上的表现，发现只有少数方法在所有评估标准上表现一致，其中Occlusion方法表现出最好的可信度和可解释性。

🔬 方法详解

问题定义：本文旨在解决多模态文档理解中的可解释性不足问题，现有方法往往缺乏透明度，难以在高风险领域安全应用。

核心思路：提出DocXEval框架，系统整合和评估现有的XAI方法与指标，适应多模态文档理解的特定需求，提供更可靠的可解释性评估。

技术框架：DocXEval框架包括多个模块，首先适配现有的XAI方法，然后在多模态文档理解任务中进行系统评估，最后通过元评估分析方法的可信度与复杂性。

关键创新：DocXEval是首个针对多模态文档理解的全面可解释性框架，创新性地引入了多目标适配的XAI方法和评估指标，填补了该领域的研究空白。

关键设计：在评估过程中，采用了17个评估指标，重点关注方法的可信度和复杂性，同时通过数据集广泛的诊断分析，揭示模型行为的关键洞察。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Occlusion方法在所有评估标准中表现最为一致，展现出最佳的可信度和可解释性。通过系统评估，发现只有少数方法在不同任务和数据集上表现良好，为未来的研究提供了重要的基准。

🎯 应用场景

该研究的潜在应用领域包括法律文档分析、医疗记录解读和金融报告审查等高风险行业。通过提高模型的可解释性，DocXEval能够帮助专业人员更好地理解模型决策，增强信任度，并推动多模态文档理解技术的安全应用。

📄 摘要（原文）

Multimodal transformer models have driven unprecedented performance breakthroughs in modern document understanding. However, the inherent black-box nature of these models remains a major obstacle to their safe deployment in high-stakes sectors. Despite significant progress in explainability for vision and language tasks, explainable AI (XAI) research tailored to multimodal document understanding has received little attention. To address this gap, we present \ourframework{}, the first comprehensive explainability framework that adapts existing XAI methods and evaluation metrics to the multimodal (text, layout, and image) document understanding context, while introducing efficient multi-target adaptations of both methods and metrics for domain-specific tasks such as semantic entity recognition. Using \ourframework{}, we systematically evaluate 13 XAI methods across 3 document understanding tasks, 8 datasets, 4 models, and 17 evaluation metrics, and find that only a few methods perform consistently across all evaluation criteria, with Occlusion emerging as the most faithful and interpretable method overall. Through a dedicated meta-evaluation, we observe moderate to strong agreement among several faithfulness and complexity metrics while identifying certain ones that produce unreliable results. Finally, through multiple dataset-wide diagnostic analyses, we uncover key insights into model behavior, including the contribution of individual modalities across tasks and labels, spatial attribution patterns around target entities, and potential dataset biases. Overall, this work serves as both a benchmark and a practical guide for future XAI research in multimodal document understanding. To support reproducibility, we publicly release our code at https://github.com/saifullah3396/docxeval/.