LEEPS: Latent-Guided Explore-Exploit Prompt Sampling for Efficient RLVR in Large Language Models

📄 arXiv: 2607.28077v1 📥 PDF

作者: Shuang Liang, Haoyang Zhou, Yifan Gong, Guowei Wang, Xiting Wang

分类: cs.CL

发布日期: 2026-07-30

备注: 15pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出LEEPS以解决RLVR中有效学习信号不足的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 可验证奖励 提示选择 自适应采样 数学推理 大型语言模型 探索与利用 在线学习

📋 核心要点

  1. 现有的预生成提示选择方法在利用历史信息与探索新提示之间难以取得平衡，导致学习效率低下。
  2. LEEPS通过将提示分为利用和探索组合，自适应地分配生成预算，从而提高了学习效率。
  3. 在六个数学推理基准上，LEEPS在两个模型规模上均取得了最高平均分，相较于最强基线提升了2.6%和3.7%。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）提升了大型语言模型的推理能力，但相同回报的提示组消耗生成预算而未提供有效学习信号。预生成提示选择可以通过在生成前筛选提示来减少浪费，但现有方法在利用与探索之间难以平衡。为了解决这些限制，本文提出了LEEPS，一种潜在引导的探索-利用提示采样器，能够自适应地平衡对历史信息提示的重用与对不确定提示的持续探索。LEEPS将候选提示分为利用和探索组合，并根据其近期的非平凡比例自适应分配生成预算。实验结果表明，LEEPS在六个数学推理基准上取得了最高平均分，并在训练过程中表现出更快的提升。

🔬 方法详解

问题定义：本文旨在解决在强化学习与可验证奖励（RLVR）中，提示组的重复使用导致生成预算浪费的问题。现有方法在利用历史信息与探索新提示之间难以平衡，影响了学习效果。

核心思路：LEEPS通过潜在引导的方式，自适应地平衡对历史信息提示的重用与对不确定提示的探索。该方法设计了利用与探索的组合，确保在有效学习的同时，避免过度集中于少数提示。

技术框架：LEEPS的整体架构包括提示候选的分组、生成预算的自适应分配，以及基于表示空间邻域和历史结果的提示优先级排序。具体流程为：首先将提示分为利用和探索组合，然后根据其非平凡比例动态调整生成预算，最后优先选择可能带来非零奖励方差的提示进行探索。

关键创新：LEEPS的主要创新在于其自适应的预算分配机制和针对性探索策略。这与现有方法的静态提示选择形成鲜明对比，使得探索更加高效且有针对性。

关键设计：在参数设置上，LEEPS根据历史提示的表现动态调整生成预算，损失函数设计考虑了奖励方差的影响，确保探索的有效性。网络结构上，采用了表示空间邻域的概念，以提高对不确定提示的优先级排序。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个数学推理基准上，LEEPS在Qwen2.5-Math-1.5B和7B模型上分别取得了2.6%和3.7%的相对提升，且在三个评估的OOD一般推理基准上也表现出色。每个训练步骤仅增加约2秒的在线采样开销，显示出其高效性。

🎯 应用场景

LEEPS的研究成果可广泛应用于自然语言处理、智能对话系统和自动化推理等领域。通过提高大型语言模型的学习效率，LEEPS有潜力推动智能系统在复杂任务中的表现，提升人机交互的智能化水平。未来，LEEPS的框架也可扩展到其他机器学习任务中，进一步促进智能算法的发展。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models, but prompt groups with identical rollout rewards consume generation budget without effective learning signals. Pre-rollout prompt selection can reduce this waste by screening prompts before rollout generation. However, existing pre-rollout methods struggle to balance exploitation and exploration: repeatedly exploiting historically informative prompts can narrow training coverage, whereas broader exploration can lower the fraction of informative prompts. To address these limitations, we introduce LEEPS, a Latent-Guided Explore--Exploit Prompt Sampler that adaptively balances the reuse of previously observed informative prompts with continued exploration of uncertain ones. LEEPS partitions candidates into exploit and explore portfolios and adaptively allocates rollout budget according to their recent non-trivial ratios. It further uses representation-space neighbors and historical rollout outcomes to prioritize uncertain prompts likely to yield non-zero reward variance, thereby making exploration more targeted without additional rollouts. Across six mathematical reasoning benchmarks, LEEPS achieves the highest average score at both model scales, with relative gains of 2.6\% and 3.7\% over the strongest baseline for Qwen2.5-Math-1.5B and 7B, respectively, and generally improves faster during the training process. It also achieves the highest average score across the three evaluated OOD general-reasoning benchmarks at both model scales and adds only about 2 seconds of online sampling overhead per training step. Code is available at https://github.com/ShuangLiangX/LEEPS.