MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
作者: Dang Quang Thien Tran, Quang V. Dang, Vinamra Tyagi, Sai Soorya Rao Veeravalli, Trang Nguyen, Ryan A. Rossi, Franck Dernoncourt, Nedim Lipka, Koustava Goswami, Samyadeep Basu
分类: cs.CL, cs.AI, cs.CV
发布日期: 2026-07-05
💡 一句话要点
提出MultAttnAttrib以解决多模态文档问答中的归因问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态归因 问答系统 无训练方法 注意力机制 文档分析
📋 核心要点
- 现有的归因生成方法多集中于单模态，缺乏对多模态文档的有效支持，导致归因准确性不足。
- 论文提出的MultAttnAttrib是一种无训练的归因生成方法，利用预填充过程和注意力机制来定位证据。
- 实验结果显示，MultAttnAttrib在归因准确性上优于多种方法，并且推理延迟显著降低，提升效果明显。
📝 摘要（中文）
随着基于证据的问答系统在AI助手中的广泛应用，准确归因生成的答案至关重要，以增强用户信任和模型安全性。尽管单模态归因已被深入研究，但多模态设置仍相对欠缺。因此，我们提出了MultAttnAttrib，这是一种无训练的归因生成方法，利用模型的预填充过程、选定的注意力头和校准阈值来定位文档中的源证据。为了建立该方法的基线结果，我们引入了MultAttrEval，一个补充的基准数据集，标注了基于多模态源文档的答案组件的细粒度真实归因。实验结果表明，MultAttnAttrib在多种归因生成方法中表现优异，显著提高了归因准确性，并在推理延迟方面表现出色。
🔬 方法详解
问题定义：本论文旨在解决多模态文档问答中的归因生成问题。现有方法多集中于单模态归因，缺乏对多模态文档的有效支持，导致归因准确性不足，影响用户信任和模型安全性。
核心思路：论文提出的MultAttnAttrib是一种无训练的归因生成方法，利用模型的预填充过程、选定的注意力头和校准阈值来定位文档中的源证据。通过这种方式，能够在不需要额外训练的情况下，快速生成高质量的归因。
技术框架：整体架构包括三个主要模块：预填充过程、注意力机制选择和阈值校准。首先，模型通过预填充过程生成初步答案，然后选择相关的注意力头，最后通过校准阈值来确定源证据的位置。
关键创新：最重要的技术创新点在于提出了一种无训练的归因生成方法，利用模型内部机制进行归因，而不是依赖于外部训练数据。这一方法与现有的基于提示的方法有本质区别，后者通常需要大量的标注数据进行训练。
关键设计：在参数设置上，选择了特定的注意力头以提高归因的准确性，并通过校准阈值来优化源证据的定位。此外，损失函数设计上注重归因的细粒度评估，以确保生成的归因与真实证据的匹配度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MultAttnAttrib在多种归因生成方法中表现优异，准确性显著提高，尤其在与强提示方法和最新模型（如GPT 5.4）的对比中，均展现出更高的归因准确性。同时，该方法在推理延迟方面表现出色，能够在相同基础模型上实现高达七分之一的推理延迟减少。
🎯 应用场景
该研究的潜在应用领域包括智能助手、信息检索和文档分析等。通过提高多模态文档问答系统的归因准确性，能够增强用户对AI系统的信任，提升用户体验。此外，该方法的高效性也为实时应用提供了可能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
As grounded QA systems are increasingly deployed in AI assistants, accurately attributing generated answers to evidence is critical for user trust and model safety. While unimodal attributions have been explored in depth, the multimodal setting remains relatively under-researched. As a result, we introduce MultAttnAttrib, a training-free attribution-generation method that leverages a model's prefill pass, selected attention heads, and calibrated thresholds to locate source evidence within a document. To establish baseline results for the method, we introduce MultAttrEval, a complementary benchmark dataset annotated with fine-grained, ground-truth attributions for answer components grounded in multimodal source documents. To our knowledge, this is the first evaluation dataset designed specifically for multimodal attribution in long-form documents. Experimental results show that MultAttnAttrib consistently outperforms a variety of attribution-generation methods, including several strong prompting-based approaches and matches the latest frontier models such as GPT 5.4. Our method not only substantially improves attribution accuracy for both unimodal and multimodal attribution types, but also produces attributions at up to one-seventh of the direct inference latency compared to prompting on the same base model.