Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

📄 arXiv: 2606.16494v1 📥 PDF

作者: Jieyuan Liu, Jianyang Gu, Shijie Chen, Jefferson Chen, Zhen Wang

分类: cs.CL, cs.AI, cs.CV

发布日期: 2026-06-15

备注: 15 pages, 9 figures. Under review at EMNLP 2026

💡 一句话要点

提出金位置协议以解决多模态问答中的首位偏差问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 知识基础视觉问答 位置偏差 信息检索 长文本处理

📋 核心要点

  1. 现有的多模态KB-VQA方法在处理长文本时存在信息利用不均的问题，尤其是中间信息的丢失。
  2. 本文提出金位置协议，通过控制段落提示位置，系统地研究读者对信息位置的依赖性。
  3. 实验结果显示，金位置在开头时的表现优于结尾，提升幅度在16到26分之间，揭示了位置偏差的影响。

📝 摘要（中文）

知识基础视觉问答（KB-VQA）允许视觉语言系统通过从维基百科规模的知识库中检索段落来回答超出其参数知识的问题。现有方法中，长文本上下文的使用存在“失落在中间”效应，即信息在上下文的开始和结束部分被利用，而中间部分则被忽略。本文设计了首个控制探测器以研究多模态KB-VQA中的读者位置依赖性，提出了金位置协议。通过在三个开源的7B/8B VLM读者和两个KB-VQA基准上进行实验，发现金位置在开头时的表现优于结尾，称之为“失落在结尾”。

🔬 方法详解

问题定义：本文旨在解决多模态KB-VQA中信息利用不均的问题，尤其是长文本上下文中间信息的丢失现象。现有方法未能有效利用所有上下文信息，导致问答性能下降。

核心思路：通过设计金位置协议，控制段落提示的位置，系统地探讨读者对信息位置的依赖性，从而揭示多模态设置下的首位偏差现象。

技术框架：整体架构包括三个主要模块：信息检索模块、读者模块和评估模块。信息检索模块负责从知识库中获取相关段落，读者模块用于处理问题和段落，评估模块则用于测量问答性能。

关键创新：最重要的创新在于首次提出金位置协议，系统性地验证了多模态KB-VQA中的位置偏差效应，揭示了信息在不同位置的利用差异。

关键设计：实验中采用了多种参数设置，包括不同的检索策略（如MMR、oracle重排序等），并通过对比实验验证了金位置对问答性能的显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在多模态KB-VQA中，金位置在开头时的表现优于结尾，提升幅度在16到26分之间。通过对比实验，发现多模态设置下的首位偏差效应显著，且文本模式的首位偏差被放大了2.2到4.5倍。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育技术和信息检索等。通过优化多模态问答系统的信息利用效率，可以提升用户体验和系统性能，未来可能在实际应用中发挥重要作用。

📄 摘要（原文）

Knowledge-based visual question answering (KB-VQA) lets vision-language systems answer questions that exceed their parametric knowledge by conditioning a reader on passages retrieved from a Wikipedia-scale knowledge base. In pure-text long-context LLMs, retrieved-context use follows the U-shaped "lost-in-the-middle" effect of Liu et al. (2024): information at the start and end of context is used, the middle is lost. Whether this transfers to deployed multimodal KB-VQA is open. To close this gap, we design the first controlled probe of reader-side position dependence in multimodal KB-VQA: a gold-position protocol in which only the gold passage's prompt slot varies within question. We run it on three open-source 7B/8B VLM readers and two KB-VQA benchmarks at k up to 20. The shape flips from U to primacy: gold-at-first beats gold-at-last by 16 to 26 points on every reader-by-benchmark cell, an effect we call "Lost at the End". Three targeted ablations narrow the cause: a text-only control shows the multimodal setting amplifies an already-present text-mode primacy 2.2 to 4.5 times, and image-position and distractor-shuffle ablations together pin the locus to prompt slot 0 of the instruction-tuned reader. On a frozen reader, three retrieval-side fixes (MMR, oracle reranking, rank-based reordering) all leave the gap intact (no separable improvement). Our findings indicate that recall@k is the wrong metric for deployed KB-VQA and that closing the gap requires reader-side intervention; we release our protocol as a controlled instrument for evaluating such interventions.