Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently

📄 arXiv: 2606.22938v1 📥 PDF

作者: Stanley Wei, Juno Kim

分类: cs.LG, cs.AI

发布日期: 2026-06-22

💡 一句话要点

提出RLVR方法以提升推理模型的回溯效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 推理模型 回溯学习 路径寻找 自然语言处理 计算效率 模型蒸馏

📋 核心要点

  1. 现有的监督微调方法在推理过程中无法有效处理回溯问题，导致性能瓶颈。
  2. 本文提出将链式推理视为图上的路径寻找问题，通过强化学习与可验证奖励（RLVR）进行训练。
  3. 实验结果表明，RLVR方法在推理效率上显著优于传统SFT，能够更好地分配计算资源。

📝 摘要（中文）

近年来，大型语言模型（LLMs）的进展表明，强化微调（RLVR）可以显著提高推理性能。本文理论分析了为何强化微调优于传统的监督微调（SFT）方法。我们将链式推理建模为图上的路径寻找问题，比较了RLVR与传统SFT的效果。研究证明，SFT在仅使用黄金最短路径训练时，无法有效学习回溯，而RLVR训练的模型能够利用结果奖励有效回溯，从而在推理时计算开销上实现指数级分离。此外，RLVR模型的推理轨迹可以被蒸馏用于训练基础模型，以提高回溯效率。

🔬 方法详解

问题定义：本文旨在解决现有监督微调方法在推理过程中无法有效回溯的问题。传统的SFT方法在训练时缺乏负样本，导致模型无法学习如何从错误路径中回溯。

核心思路：通过将链式推理建模为图上的路径寻找问题，利用强化学习与可验证奖励（RLVR）来训练模型，使其能够有效回溯并优化推理过程。这样的设计使得模型能够在面对复杂决策时更灵活地调整路径。

技术框架：整体架构包括两个主要模块：首先是路径寻找模块，使用RLVR进行训练；其次是推理模块，利用训练得到的模型进行高效推理。训练过程中，模型通过结果奖励学习如何在推理链中识别困难决策的位置。

关键创新：最重要的技术创新在于RLVR方法的引入，使得模型能够在没有负样本的情况下学习回溯能力。这与传统SFT方法的本质区别在于，RLVR能够通过结果反馈进行动态调整。

关键设计：在训练过程中，采用了特定的损失函数以优化回溯能力，并设计了适应性强的网络结构，以支持复杂的推理任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RLVR方法在推理效率上相比传统SFT方法实现了指数级的计算开销分离，显著提升了模型在复杂推理任务中的表现。具体性能数据表明，RLVR训练的模型在回溯能力上优于SFT，能够更好地处理推理链中的困难决策。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动推理等。通过提升推理模型的回溯效率，能够在更复杂的任务中实现更高的准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advances in large language models (LLMs) have demonstrated that reinforcement fine-tuning of pretrained base models can lead to significant gains in reasoning performance at inference time. In this work, we theoretically analyze why reinforcement fine-tuning induces better reasoning ability than purely supervised fine-tuning (SFT) methods. We model chain-of-thought (CoT) reasoning as a pathfinding problem on graphs and compare the popular method of reinforcement learning with verifiable rewards (RLVR) against traditional SFT. We prove that SFT, when trained on golden shortest paths without negative examples, fails to learn how to efficiently backtrack. In contrast, an RLVR-trained model can learn how to efficiently backtrack from dead ends using only outcome reward. This leads to an exponential separation in inference-time compute between the two methods, and demonstrates that RLVR leads the model to learn the location of difficult decisions in a reasoning chain, ultimately allowing for better allocation of inference-time compute. Finally, we show that the reasoning traces of an RLVR model can be distilled to train a base model to backtrack efficiently as well.