Wiki-R1: Incentivizing Multimodal Reasoning for Knowledge-based VQA via Data and Sampling Curriculum

📄 arXiv: 2603.05256 📥 PDF

作者: Shan Ning, Longtian Qiu, Xuming He

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出Wiki-R1以解决知识基础视觉问答中的多模态推理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识基础视觉问答 多模态推理 强化学习 数据生成 课程学习 模型适应性

📋 核心要点

  1. 现有的知识基础视觉问答方法在处理噪声检索和知识库结构化特征时面临重大挑战，导致推理效果不佳。
  2. 本文提出Wiki-R1，通过数据生成和课程强化学习框架，系统性地激励多模态大语言模型的推理能力，缩小预训练与目标分布之间的差距。
  3. 在Encyclopedic VQA和InfoSeek两个基准上，Wiki-R1的准确率分别从35.5%提升至37.1%，从40.1%提升至44.1%，显示出显著的性能提升。

📝 摘要（中文）

知识基础视觉问答（KB-VQA）要求模型通过整合外部知识来回答关于图像的问题，这一过程面临着噪声检索和知识库的结构化、百科全书式特征带来的重大挑战。这些特征使得预训练的多模态大语言模型（MLLMs）在后续训练阶段的有效推理和领域适应变得困难。本文提出了Wiki-R1，一个基于数据生成的课程强化学习框架，系统性地激励MLLMs在KB-VQA中的推理能力。Wiki-R1构建了一系列与模型能力演变相一致的训练分布，弥合了预训练与KB-VQA目标分布之间的差距。我们引入了可控课程数据生成，操控检索器生成所需难度级别的样本，并采用课程采样策略选择在RL更新中可能带来非零优势的信息样本。实验结果表明，Wiki-R1在两个KB-VQA基准上取得了新的最先进结果。

🔬 方法详解

问题定义：本文旨在解决知识基础视觉问答（KB-VQA）中模型推理能力不足的问题。现有方法在处理噪声检索和知识库的结构化特征时，往往导致推理效果不理想，难以适应特定领域的需求。

核心思路：论文提出的Wiki-R1框架通过数据生成和课程强化学习，系统性地激励模型的推理能力。通过构建与模型能力演变相一致的训练分布，逐步引导模型适应KB-VQA的目标分布。

技术框架：Wiki-R1的整体架构包括可控课程数据生成模块和课程采样策略。可控课程数据生成模块负责操控检索器生成不同难度的样本，而课程采样策略则选择在强化学习更新中可能带来非零优势的样本。

关键创新：最重要的技术创新在于引入了可控课程数据生成和课程采样策略，这两者有效地解决了模型在后续训练阶段的推理能力不足问题，与现有方法相比，提供了更为系统化的学习路径。

关键设计：在参数设置上，论文通过观察奖励来估计样本难度，并将其传播至未观察样本以指导学习。损失函数和网络结构的具体细节未在摘要中详细描述，需参考完整论文以获取更多信息。

📊 实验亮点

实验结果显示，Wiki-R1在Encyclopedic VQA基准上将准确率从35.5%提升至37.1%，在InfoSeek基准上从40.1%提升至44.1%，实现了显著的性能提升，标志着在KB-VQA领域的最新进展。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像理解和人机交互等。通过提升模型在知识基础视觉问答中的推理能力，Wiki-R1能够为多模态学习和知识检索提供更强大的支持，未来可能在教育、医疗和自动化客服等领域产生深远影响。

📄 摘要（原文）

Knowledge-Based Visual Question Answering (KB-VQA) requires models to answer questions about an image by integrating external knowledge, posing significant challenges due to noisy retrieval and the structured, encyclopedic nature of the knowledge base. These characteristics create a distributional gap from pretrained multimodal large language models (MLLMs), making effective reasoning and domain adaptation difficult in the post-training stage. In this work, we propose \textit{Wiki-R1}, a data-generation-based curriculum reinforcement learning framework that systematically incentivizes reasoning in MLLMs for KB-VQA. Wiki-R1 constructs a sequence of training distributions aligned with the model's evolving capability, bridging the gap from pretraining to the KB-VQA target distribution. We introduce \textit{controllable curriculum data generation}, which manipulates the retriever to produce samples at desired difficulty levels, and a \textit{curriculum sampling strategy} that selects informative samples likely to yield non-zero advantages during RL updates. Sample difficulty is estimated using observed rewards and propagated to unobserved samples to guide learning. Experiments on two KB-VQA benchmarks, Encyclopedic VQA and InfoSeek, demonstrate that Wiki-R1 achieves new state-of-the-art results, improving accuracy from 35.5\% to 37.1\% on Encyclopedic VQA and from 40.1\% to 44.1\% on InfoSeek. The project page is available atthis https URL.