Does More Retrieved Evidence Help Visual Retrieval-Augmented Generation with Diffusion Language Models?

📄 arXiv: 2608.07006v1 📥 PDF

作者: Jiankun Wang, Yisen Gao, Ziwei Zhang, Xingcheng Fu, Jiaxin Bai, Chen Gao

分类: cs.CL, cs.CV

发布日期: 2026-08-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于熵的候选过滤器以提升视觉检索增强生成的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉检索 增强生成 扩散语言模型 候选过滤 多模态学习 答案准确性 信息检索

📋 核心要点

  1. 现有的视觉检索增强生成方法假设所有检索到的证据都应传递给生成器，但这在扩散语言模型中并不成立，导致答案准确性下降。
  2. 论文提出熵基候选过滤器（ECF），通过构建多粒度证据单元和使用置信度评估，选择性地接纳有益证据，从而提高生成答案的准确性。
  3. 在三个多模态DLM和五个视觉问答基准上，ECF平均提高了2.62个百分点的答案准确性，显示出选择性证据接纳的有效性。

📝 摘要（中文）

视觉检索增强生成（RAG）通常通过扩展检索证据集来提高答案覆盖率，但这一假设在扩散语言模型（DLMs）中并不成立。研究表明，检索更多页面虽然提高了答案页面的召回率，但无条件地将所有检索页面传递给生成器往往会降低答案准确性，主要由于语义冲突。通过潜在源分析，论文解释了这一不匹配现象，并提出了一种训练无关的证据接纳框架——熵基候选过滤器（ECF），以在保留检索覆盖率的同时限制有害视觉暴露。实验结果显示，ECF在多个多模态DLM和视觉问答基准上显著提高了答案准确性。

🔬 方法详解

问题定义：本论文旨在解决在视觉检索增强生成中，扩展检索证据集导致的答案准确性下降的问题。现有方法假设所有检索证据都应传递给生成器，但这在扩散语言模型中并不成立，造成语义冲突。

核心思路：论文提出熵基候选过滤器（ECF），通过构建多粒度证据单元和使用置信度评估，选择性地接纳有益证据，从而提高生成答案的准确性。该方法旨在保留检索覆盖率，同时限制有害视觉信息的影响。

技术框架：ECF的整体架构包括两个主要模块：多粒度证据单元构建和候选证据评估。前者通过将检索到的证据分解为不同粒度的单元，后者则利用置信度和检索排名来决定哪些候选证据应被接纳。

关键创新：ECF的核心创新在于其训练无关的证据接纳机制，通过熵评估和置信度控制，选择性地过滤掉不相关的证据。这与现有方法的无条件证据扩展形成鲜明对比。

关键设计：在设计中，ECF使用了多粒度证据单元构建技术，结合了空白控制的块置信度和检索排名，以确定候选证据的接纳。这些设计确保了生成器接收到的证据是有益的，从而提高了答案的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ECF在三个多模态DLM和五个视觉问答基准上，平均提高了2.62个百分点的答案准确性，特别是在使用LLaDA2.0-Uni时，相较于最佳竞争训练无关结果，提升了2.37个百分点。这些结果验证了选择性证据接纳的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、信息检索和多模态交互等。通过提高生成答案的准确性，ECF可以在实际应用中提升用户体验，尤其是在需要处理复杂视觉信息的场景中。未来，该方法有望推动更多基于视觉的生成模型的研究与应用。

📄 摘要（原文）

Visual retrieval-augmented generation (RAG) commonly expands the retrieved evidence set to improve answer-page coverage, implicitly assuming that all available evidence should be passed to the generator. We show that this assumption does not hold for diffusion language models (DLMs): retrieving more pages increases answer-page recall, whereas unconditionally passing all retrieved pages to the generator often reduces answer accuracy, primarily because of semantic conflict. A latent-source analysis explains this mismatch through source-coherence loss in parallel denoising, where position-wise proposals can combine incompatible visual sources into unsupported answers. We further find that such interference is already visible in the first-step answer-block distribution, making it possible to assess evidence before decoding. To preserve retrieval coverage while limiting harmful visual exposure, we propose the Entropy-Based Candidate Filter (ECF), a training-free evidence-admission framework. To reduce irrelevant content within individual candidates, ECF constructs multi-granularity evidence units; to identify beneficial additional evidence, it uses blank-controlled block confidence and retrieval rank to determine whether and which candidate should enter the final context. Across three multimodal DLMs and five visual QA benchmarks, ECF improves answer accuracy by 2.62 percentage points on average over the strongest fixed top-$k$ input and, with LLaDA2.0-Uni, by 2.37 percentage points on average over the best competing training-free result for each dataset. These results show that broader retrieval benefits visual DLM-RAG through selective evidence admission rather than unconditional evidence expansion. Code is publicly available at https://github.com/wjkuser/ECF.