DEEPRUBRIC: Evidence-Tree Rubric Supervision for Efficient Reinforcement Learning of Deep Research Agents

📄 arXiv: 2606.17029v1 📥 PDF

作者: Minghang Zhu, Chuyang Wei, Junhao Xu, Yilin Cheng, Zhumin Chen, Jiyan He

分类: cs.CL

发布日期: 2026-06-15

💡 一句话要点

提出DeepRubric以解决深度研究代理的奖励效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度学习 强化学习 评分标准 证据树 自然语言处理

📋 核心要点

  1. 现有方法依赖于大型语言模型生成评分标准，可能导致不完整的评分标准，从而降低强化学习的效率。
  2. DeepRubric通过反向构建评分标准，首先确定评估目标，再合成查询-评分对，确保奖励与信息请求一致。
  3. 使用DeepRubric构建的9000个查询-评分示例，训练的DeepRubric-8B在多个基准上表现出色，显著减少了计算资源消耗。

📝 摘要（中文）

深度研究代理通过检索和推理证据来合成长篇报告。基于评分标准的强化学习通过优化可检查标准来提高这些代理的性能，但其效率依赖于这些标准是否可靠地捕捉任务范围和证据需求。现有研究通常要求大型语言模型生成评分标准，但当模型未能推断出潜在信息需求时，生成的评分标准可能不完整，从而降低强化学习效率。为获得更可靠的查询-评分监督，本文提出DeepRubric数据构建框架，首先确定证据支持报告的评估标准，然后从这些评估目标合成对齐的查询-评分对。通过递归扩展证据支持的子问题，DeepRubric构建证据树，确保奖励准确评估查询请求的信息。使用DeepRubric，我们构建了9000个查询-评分监督示例，并训练DeepRubric-8B，使用基于评分的GRPO实现了与现有深度研究模型相当的性能，同时减少了约13倍的强化学习GPU小时数。

🔬 方法详解

问题定义：本文旨在解决现有基于评分标准的强化学习方法在生成评分标准时的低效和不可靠性，尤其是当大型语言模型未能准确推断信息需求时，生成的评分标准可能导致学习效率下降。

核心思路：DeepRubric的核心思路是反向构建评分标准，首先明确证据支持报告的评估标准，然后从这些标准合成查询-评分对，以确保生成的奖励信号与实际信息需求相符。

技术框架：DeepRubric的整体架构包括证据树的构建和查询-评分对的合成。首先，从一个种子主题出发，递归扩展出证据支持的子问题，形成证据树；然后利用证据树生成训练所需的查询和评分标准。

关键创新：DeepRubric的主要创新在于其反向构建评分标准的方式，与现有方法不同，它不依赖于模型推断，而是基于明确的评估目标生成评分，从而提高了强化学习的效率和可靠性。

关键设计：在DeepRubric中，关键设计包括证据树的构建策略、查询和评分对的合成方法，以及基于评分的GRPO训练策略，确保生成的奖励信号能够准确反映查询的需求。具体的参数设置和损失函数设计在论文中进行了详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用DeepRubric构建的9000个查询-评分示例训练的DeepRubric-8B在三个基准测试中表现出色，性能与现有最先进的深度研究模型相当，同时减少了约13倍的强化学习GPU小时数，显著提高了训练效率。

🎯 应用场景

该研究的潜在应用领域包括教育、法律、科研等需要生成长篇报告的场景。通过提高深度研究代理的效率，DeepRubric能够帮助用户快速获取高质量的信息和分析，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Deep research agents synthesize long-form reports by searching and reasoning over retrieved evidence. Reinforcement learning with rubric-based rewards improves these agents by optimizing them against checkable criteria that translate report quality into reward signals, but its efficiency depends on whether those criteria reliably capture the task scope and evidence needs. Most existing studies ask an LLM to generate rubrics for a given query, but when the model fails to infer the underlying information needs, the generated rubrics may be incomplete and reduce RL efficiency. To obtain more reliable query--rubric supervision, we introduce DeepRubric, a data construction framework that reverses this process: instead of inferring evaluation criteria for a given query, it first determines what an evidence-backed report should be evaluated on and then synthesizes aligned query--rubric pairs from those evaluation targets. Starting from a sampled seed topic, DeepRubric builds an evidence tree by recursively expanding evidence-backed sub-questions, whose leaves serve as atomic and verifiable evaluation targets. It then uses the evidence tree to synthesize the training query and rubrics, ensuring that the reward evaluates exactly the information requested by the query. Using DeepRubric, we construct 9K query--rubric supervision examples and train DeepRubric-8B with rubric-based GRPO, achieving comparable performance to prior open state-of-the-art deep research models across three benchmarks with roughly 13x fewer RL GPU-hours.