DR Pixel: Page-Native Deep Research with Vision-Language Models

📄 arXiv: 2611.03097v1 📥 PDF

作者: Tiansheng Hu, Yichuan Wang, James V. Talwar, Nicholas Tomlin, Chen Zhao, Sewon Min

分类: cs.CV, cs.CL, cs.IR

发布日期: 2026-11-02

💡 一句话要点

提出DR Pixel以解决复杂文档深度研究问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度研究 多模态学习 视觉语言模型 反事实信用重标定 科学文献检索 信息提取 复杂文档处理

📋 核心要点

  1. 现有深度研究方法通常依赖OCR提取文本，无法充分利用复杂文档中的图形和表格信息。
  2. DR Pixel通过直接在渲染的文档页面图像上进行检索和推理，提出了一种新的多模态深度研究方法。
  3. 实验结果显示，DR Pixel在多个基准测试中超越了传统OCR方法，检索召回率和准确率均有显著提升。

📝 摘要（中文）

复杂文档如科学论文包含丰富的信息，但现有深度研究代理通常仅依赖OCR提取文本。本文提出DR Pixel，首个开源的端到端多模态深度研究代理，直接在渲染的文档页面图像上进行检索和推理。我们构建了DRPixelBench基准，评估在科学论文中对文本、图形、表格和方程的推理能力。实验结果表明，DR Pixel在未训练的情况下已超越基于OCR的基线，且在检索和推理效率上表现优越。通过引入反事实信用重标定方法，进一步提升了检索召回率和最终准确率，展示了直接处理视觉文档页面的有效性和高效性。

🔬 方法详解

问题定义：本文旨在解决现有深度研究代理在处理复杂文档时仅依赖OCR提取文本的不足，导致信息损失和效率低下的问题。

核心思路：DR Pixel通过使用渲染的文档页面图像作为唯一的检索和推理单元，直接在视觉信息上进行深度研究，避免了OCR步骤的冗余和潜在错误。

技术框架：DR Pixel的整体架构包括图像输入模块、检索模块和推理模块，能够处理1.06M页面的文档数据。通过构建DRPixelBench基准，评估模型在文本、图形、表格和方程上的推理能力。

关键创新：引入反事实信用重标定方法，针对代理的监督微调过程中的噪声问题，精细化地分配推理和行动步骤的信用，显著提升了模型的学习效果。

关键设计：在训练过程中，采用了特定的损失函数和参数设置，以优化模型在复杂文档推理中的表现，确保模型能够有效区分关键推理步骤与冗余尝试。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，DR Pixel在未训练的情况下超越了多个基于OCR的基线模型，尤其在GPT-5.4、Gemini-3.5-Flash和Qwen3.6-27B等先进模型中表现突出。通过反事实信用重标定，检索召回率提升约15个百分点，最终准确率提升超过10个百分点，显示出直接处理视觉文档的优势。

🎯 应用场景

DR Pixel的研究成果在科学文献检索、学术研究辅助工具和信息提取等领域具有广泛的应用潜力。通过直接处理视觉文档，能够提高信息获取的效率和准确性，推动学术研究的进展。未来，该技术还可能扩展到其他类型的复杂文档分析，如法律文件和技术报告等。

📄 摘要（原文）

Complex documents such as scientific papers contain rich information in tables, figures, and equations; however, existing deep research (DR) agents typically reduce papers to OCR-extracted text. We instead ask whether vision-language models (VLMs) can enable page-native deep research: directly retrieving and reasoning over rendered document page images. We introduce DR Pixel, the first open-source end-to-end multimodal DR agent that uses rendered page images as its sole retrieval and reasoning unit, operating over a corpus of 1.06M pages. To evaluate this setting, we construct DRPixelBench, a benchmark on scientific papers requiring reasoning over text, figures, tables, and equations. Surprisingly, page-native DR already works well without training, outperforming OCR-based baselines across state-of-the-art models like GPT-5.4, Gemini-3.5-Flash, and Qwen3.6-27B, while requiring fewer tool calls. We next turn to DR training. A key challenge is that teacher trajectories for agentic supervised finetuning are noisy, mixing critical reasoning and action steps with redundant or failed attempts. To address this, we introduce counterfactual credit reweighting, a fine-grained credit assignment method that weights individual reasoning and action steps by their counterfactual contribution to the final answer. Our training improves retrieval recall by about 15 points and final accuracy by over 10 points on DRPixelBench, and likewise outperforms the untrained baseline on four existing benchmarks. On out-of-distribution ViDoRe-V3, DR Pixel comes within 1.8 points of an oracle that is given the gold pages directly. Our results suggest that the conventional OCR-then-retrieve pipeline is not only unnecessary but suboptimal: directly retrieving and reasoning over visual document pages makes complex DR both more effective and more efficient.