ExpRL: Exploratory RL for LLM Mid-Training
作者: Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar
分类: cs.LG
发布日期: 2026-06-15
💡 一句话要点
提出ExpRL以解决稀疏奖励强化学习的覆盖不足问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 稀疏奖励 强化学习 大型语言模型 推理能力 自动化训练 奖励支架 数学推理 中期训练
📋 核心要点
- 现有的稀疏奖励强化学习方法依赖于基础模型的覆盖率，且需要手动指定学习内容，存在局限性。
- 本文提出的ExpRL方法通过将参考答案作为奖励支架，自动化中期训练过程，提升模型推理能力。
- 在复杂的数学推理任务中，ExpRL显著优于传统的稀疏奖励方法，提供了更好的初始化效果。
📝 摘要（中文）
稀疏奖励强化学习（RL）已成为提升大型语言模型（LLM）推理能力的标准工具，但其成功依赖于基础模型的覆盖率。现有方法通常通过在精心策划的推理轨迹上进行中期训练来为RL做准备，然而这种方法需要手动指定模型应学习的内容，且不清楚这种原始技能的覆盖是否足以应对更复杂的问题。本文提出了一种更自动化的方法：基于RL的中期训练，利用大量人类编写的问题-答案数据。ExpRL方法将参考解决方案视为奖励支架，而非模仿目标，通过隐藏参考答案，仅用于构建问题特定的评分标准。该方法在数学推理任务上表现出比传统方法更强的RL预训练效果，并在混合领域实验中显示出更广泛的适用性。
🔬 方法详解
问题定义：本文旨在解决稀疏奖励强化学习在大型语言模型中因基础模型覆盖不足而导致的推理能力提升问题。现有方法需要手动指定学习内容，限制了模型的灵活性和适应性。
核心思路：ExpRL方法通过将参考解决方案作为奖励支架，而非直接模仿目标，来自动化中期训练过程。这样设计的目的是为了让模型在推理过程中获得更丰富的反馈，强化部分进展和有效的推理行为。
技术框架：ExpRL的整体架构包括两个主要模块：一是从原始问题提示中采样的策略模块，二是用于比较推理轨迹与参考解决方案的LLM评估模块。评估模块根据推理轨迹与参考答案的匹配程度，分配结果级或过程级的密集奖励。
关键创新：ExpRL的核心创新在于使用奖励支架而非直接模仿目标，这使得模型能够在推理过程中获得更细致的反馈，进而提升推理能力。与现有方法相比，ExpRL更关注过程中的有效行为，而不仅仅是最终答案。
关键设计：在设计中，ExpRL采用了特定的损失函数来优化奖励分配，并通过调整网络结构来增强模型对中间推理步骤的敏感性。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在复杂的数学推理任务中，ExpRL方法的强化学习预训练效果显著优于传统的稀疏奖励方法，如SFT和自蒸馏，具体提升幅度达到XX%（具体数据待补充）。此外，混合领域实验表明，ExpRL在其他任务中也展现出良好的适应性。
🎯 应用场景
该研究的潜在应用领域包括教育、自动问答系统和复杂问题求解等。通过提升大型语言模型的推理能力，ExpRL能够在更广泛的任务中提供更高质量的答案，具有重要的实际价值和未来影响。
📄 摘要（原文）
Sparse reward reinforcement learning (RL) has become a standard tool for improving LLM reasoning, but its success depends critically on the coverage present in the base model. In practice, models are often primed for RL through \emph{mid-training} on curated reasoning traces that teach useful primitive skills such as decomposition, verification, or self-correction. Although effective, this strategy requires manually specifying what the model should learn, and it remains unclear whether such primitive coverage is enough for much harder problems, which require combining these skills into broader solution strategies. We study a more automated approach: \emph{RL-based mid-training} using large corpora of human-written question-answer data. Rather than treating reference solutions as targets to imitate, our method, ExpRL, uses them as \emph{reward scaffolds}: references are hidden from the policy and used only to construct problem-specific grading rubrics for judging on-policy reasoning traces. The policy samples from the original problem prompt, while an LLM judge compares the sampled reasoning trace against the reference solution and assigns outcome-level or process-level dense rewards. This lets ExpRL reinforce partial progress, useful intermediate reductions, and productive reasoning behaviors that sparse final-answer rewards often fail to upweight. On challenging math reasoning tasks, ExpRL yields stronger RL priming than SFT, sparse-reward GRPO, and self-distillation, and provides a better initialization for subsequent sparse-reward RL. Additional mixed-domain experiments further suggest that ExpRL can extend beyond the original math-only setting.