Reinforcement Learning without Ground-Truth Solutions can Improve LLMs

📄 arXiv: 2606.27369v1 📥 PDF

作者: Yingyu Lin, Qiyue Gao, Nikki Lijing Kuang, Xunpeng Huang, Kun Zhou, Tongtong Liang, Zhewei Yao, Yi-An Ma, Yuxiong He

分类: cs.LG

发布日期: 2026-06-25

💡 一句话要点

提出RiVER框架以解决无地面真实解的强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 大型语言模型 评分优化 奖励校准 无地面真实解 实例比较 模型训练

📋 核心要点

  1. 现有的强化学习方法依赖地面真实解来分配奖励，限制了其在未知解任务中的应用。
  2. RiVER框架通过使用确定性执行反馈和实例比较，解决了无地面真实解的评分优化任务。
  3. 在AtCoder Heuristic Contest任务上训练后，RiVER在多个基准上显著提升了模型的性能，尤其是在精确解基准上。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）通常依赖于地面真实答案来分配奖励，这限制了其在未知真实解任务中的应用。本文提出了一种排名诱导的可验证框架（RiVER），用于在没有地面真实解的评分优化任务中训练大型语言模型（LLMs），并利用确定性执行反馈作为连续值监督。RiVER通过实例比较进行奖励校准，强调高排名解的同时保留其他有效解的有界反馈。实验表明，RiVER在多个基准任务中显著提升了模型性能，尤其是在没有地面真实解的情况下，仍能在精确解基准上取得提升。

🔬 方法详解

问题定义：现有的强化学习方法通常依赖于地面真实解来进行奖励分配，这在许多实际应用中是不可行的，导致模型无法有效学习。

核心思路：RiVER框架通过引入评分优化任务，利用确定性执行反馈作为连续值监督，避免了对地面真实解的依赖，从而使模型能够在没有真实解的情况下进行有效训练。

技术框架：RiVER的整体架构包括奖励校准模块和实例比较机制。奖励校准模块负责对不同实例的评分进行标准化，而实例比较机制则用于强调高排名解的反馈。

关键创新：RiVER的主要创新在于其奖励校准策略，通过实例间的比较来解决评分的规模和频率主导问题，从而提高了模型的学习效率和效果。

关键设计：在设计上，RiVER采用了实例比较的方式来进行奖励校准，并对高排名解给予更多的关注，同时保留其他有效解的反馈，确保了模型在训练过程中的多样性和有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

RiVER在AtCoder Heuristic Contest任务上训练后，Qwen3-8B和GLM-Z1-9B-0414的ALE评分排名分别提升了8.9%和9.4%。更重要的是，尽管仅在无地面真实解的评分任务上训练，RiVER在精确解基准LiveCodeBench和USACO上也分别实现了2.4%和3.5%的绝对平均提升。

🎯 应用场景

该研究的潜在应用领域包括编程教育、自动代码生成和智能助手等。通过在没有地面真实解的情况下训练模型，RiVER能够提升模型的通用编码能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) for training LLMs typically rely on ground-truth answers to assign rewards, limiting their applicability to tasks where the ground-truth solution is unknown. We introduce a \textbf{R}anking-\textbf{i}nduced \textbf{VER}ifiable framework (RiVER) that trains LLMs on score-based optimization tasks without ground-truth solutions, using deterministic execution feedback as continuous-valued supervision. When applying group-relative RL to such continuous rewards, we identify two key challenges: \emph{scale dominance}, where uncalibrated score magnitudes across test instances distort policy updates, and \emph{frequency dominance}, where repeatedly sampled suboptimal solutions can outweigh rare but stronger candidates. RiVER addresses these challenges with calibrated reward shaping that uses instance-wise comparisons and emphasizes top-ranked solvers while retaining bounded feedback for other valid solutions. We train on 12 AtCoder Heuristic Contest tasks and evaluate on Algorithm Engineering Benchmark (ALE-Bench), LiveCodeBench, and USACO. RiVER advances Qwen3-8B and GLM-Z1-9B-0414 by 8.9\% and 9.4\% in ALE rating rank. More importantly, despite training exclusively on score-based tasks without any ground-truth solutions, RiVER also improves the backbones across exact-solution benchmarks such as LiveCodeBench and USACO by an absolute average improvement of 2.4\% and 3.5\%. By contrast, baselines trained with raw execution scores improve ALE rating but fail to transfer to exact-solution benchmarks. These results suggest that score-based optimization tasks, combined with proper reward calibration, can serve as effective training environments for general coding ability without ground-truth solutions.