Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning
作者: Xiaoyue Xu, Sikui Zhang, Xiaorong Wang, Xu Han, Chaojun Xiao
分类: cs.CL, cs.AI
发布日期: 2026-06-17
备注: 15 pages, 6 figures, 12 tables
💡 一句话要点
提出数据驱动方法以提升长上下文强化学习能力
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长上下文推理 强化学习 数据驱动 模型训练 多样化数据集 智能代理 自动推理
📋 核心要点
- 现有强化学习方法在长上下文推理能力上存在不足，主要依赖于奖励工程而缺乏多样化的训练数据。
- 本文提出了一种数据驱动的方法，通过构建多样化的数据集来提升长上下文推理能力，结合最小化的GRPO设置。
- 实验结果表明，使用该方法在多个基准测试中显著提升了模型性能，并在代理任务中也取得了良好的迁移效果。
📝 摘要（中文）
长上下文推理是大型语言模型的重要能力，尤其是在作为自主代理进行长时间推理时。尽管强化学习（RL）已成为提升这一能力的主要范式，但现有研究主要集中在奖励工程上，训练数据的多样性仍然稀缺。本文从数据中心的视角重新审视这一问题，提出了一种简单而有效的数据配方，结合最小化的基于结果的GRPO设置，显著提升了长上下文推理能力。我们针对检索、多证据综合和推理三类互补任务构建并整理了八个数据集，总计约14K个示例。在三种模型（Qwen3-4B/8B/30B-A3B）上的实验结果显示，在七个长上下文基准上平均提升了+7.2/+3.2/+6.4分，超越了之前的RL训练集。进一步证明了这些提升在代理任务中的迁移效果。
🔬 方法详解
问题定义：本文旨在解决长上下文推理能力不足的问题，现有方法过于依赖奖励工程，缺乏多样化的训练数据，导致模型在复杂任务中的表现不佳。
核心思路：论文提出了一种数据中心的方法，通过构建和整理多样化的数据集，结合简单的GRPO设置，来有效提升长上下文推理能力。这样的设计旨在减少对复杂奖励设计的依赖，直接通过数据质量提升模型性能。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要模块。首先，针对检索、多证据综合和推理任务构建八个数据集；其次，利用这些数据集对模型进行训练；最后，通过多个基准测试评估模型性能。
关键创新：最重要的技术创新在于提出了一种简单有效的数据配方，能够在不依赖复杂奖励机制的情况下，显著提升长上下文推理能力。这与现有方法的本质区别在于关注数据的多样性和质量，而非仅仅依赖于奖励设计。
关键设计：在数据集构建过程中，精心挑选了多样化的示例，确保覆盖检索、多证据综合和推理等任务。同时，采用了最小化的GRPO设置，以简化训练过程并提高效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用本文提出的数据配方，三种模型在七个长上下文基准上平均提升了+7.2/+3.2/+6.4分，超越了以往的RL训练集。此外，在代理任务中，继续使用该数据配方对代理调优模型进行RL训练，GAIA和BrowseComp分别提升了+4.8和+7.0分，显示出良好的迁移效果。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化决策系统和复杂任务的自动推理等。通过提升长上下文推理能力，模型能够更好地理解和处理复杂信息，从而在实际应用中提供更高的智能化服务，具有重要的实际价值和广泛的未来影响。
📄 摘要（原文）
Long-context reasoning is an essential capability for large language models, particularly when they are deployed as autonomous agents that must reason over lengthy trajectories. Reinforcement learning (RL) has recently emerged as a dominant paradigm for improving this ability, yet existing work largely focuses on reward engineering while diverse training data remains scarce. We revisit this problem from a data-centric perspective and show that a simple yet effective data recipe alone, paired with a minimal outcome-based GRPO setup, suffices to substantially improve long-context reasoning. Our recipe targets three complementary task families -- retrieval, multi-evidence synthesis, and reasoning -- for which we construct and curate eight datasets totaling ~14K examples. Experiments on three models (Qwen3-4B/8B/30B-A3B) yield average gains of +7.2/+3.2/+6.4 points across seven long-context benchmarks, surpassing prior RL training sets. We further demonstrate that these gains transfer to agentic tasks, where continuing RL training on an agent-tuned model with our data recipe improves GAIA by +4.8 and BrowseComp by +7.0 points. We will release our datasets to facilitate future research.