SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute

📄 arXiv: 2607.28457v1 📥 PDF

作者: Hongyu Chen, Liang Lin, Guangrun Wang

分类: cs.AI, cs.CL

发布日期: 2026-07-30

备注: 8 pages, 4 figures, 4 tables

💡 一句话要点

提出自验证精炼方法以优化自适应测试时计算

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自验证 强化学习 计算控制 语言模型 推理优化 数学推理 自适应计算

📋 核心要点

  1. 现有方法在处理简单输入时，均匀预算导致计算资源浪费，且依赖外部反馈的验证者精炼存在局限性。
  2. 本文提出自验证精炼（SVR），通过无Oracle的多轮强化学习框架，利用自我验证作为计算控制策略，优化推理过程。
  3. SVR在七个数学推理基准上实现了0.563的宏平均准确率，且平均推理轮次仅为2.99，显著优于其他基线方法。

📝 摘要（中文）

在语言模型推理中，扩展测试时计算可以提升性能，但均匀预算会在简单输入上浪费计算资源，而基于验证者的精炼依赖外部反馈。本文提出自验证精炼（SVR），一种无Oracle的多轮强化学习框架，通过自我验证作为计算控制策略。模型在每轮生成解答及其离散的正确性判定和置信度分数，仅在判定为正确且置信度超过阈值时保留当前答案，否则继续使用自我验证进行精炼。真实正确性仅用于构建训练奖励，而在推理过程中不暴露给策略。SVR在固定时间轨迹上使用GRPO训练，奖励促进解答正确性、校准意识的自我验证和准备停止的正确状态；自适应停止仅在推理时激活。在七个数学推理基准上，SVR在平均仅2.99次推理轮次的情况下，达到了0.563的宏平均准确率。与标准GRPO、强多轮基线及固定预算的Oracle指导反馈参考相比，SVR在所需轮次上显著减少，展示了学习的自我验证作为答案保留和自适应测试时计算分配的有效内部控制信号的潜力。

🔬 方法详解

问题定义：本文旨在解决在语言模型推理中，均匀预算导致的计算资源浪费和依赖外部反馈的验证者精炼的局限性。

核心思路：提出自验证精炼（SVR），通过自我验证机制来控制计算预算，避免外部反馈的依赖，从而提升推理效率和准确性。

技术框架：SVR框架包含多个模块，首先生成解答及其正确性判定和置信度分数；然后根据判定结果决定是否保留答案或继续精炼，最后在推理时激活自适应停止机制。

关键创新：SVR的核心创新在于无Oracle的自我验证机制，允许模型在没有外部反馈的情况下进行自我调整，显著提高了推理的灵活性和效率。

关键设计：SVR使用GRPO进行训练，设计了奖励机制以促进解答的正确性和自我验证的校准意识，确保模型在推理时能够有效判断何时停止计算。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SVR在七个数学推理基准上实现了0.563的宏平均准确率，平均推理轮次仅为2.99，显著优于标准GRPO和其他强基线方法，展示了其在计算效率和准确性上的优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要高效推理的自然语言处理任务中，如自动问答、对话系统和智能助手等领域。通过优化计算资源的使用，SVR能够在保持高准确率的同时，降低计算成本，提升用户体验。未来，SVR的理念也可扩展到其他机器学习任务中，推动更智能的计算策略发展。

📄 摘要（原文）

Scaling test-time computation can improve language-model reasoning, but uniform budgets waste computation on easy inputs, while verifier-guided refinement relies on external feedback. We introduce Self-Verifying Refinement (SVR), an oracle-free multi-turn reinforcement learning framework that learns to use self-verification as a compute-control policy. At each turn, the model produces a solution together with a discrete correctness verdict and a confidence score; it retains the current answer only when the verdict is Correct and confidence exceeds a threshold, and otherwise continues refinement using its own self-verification. Ground-truth correctness is used only to construct training rewards and is never exposed to the policy through refinement prompts or required at inference. SVR is trained with GRPO on fixed-horizon trajectories using rewards that promote solution correctness, calibration-aware self-verification, and stop-ready correct states; adaptive stopping is activated only at inference. On seven mathematical reasoning benchmarks with Qwen3.5-2B, SVR achieves a macro-average accuracy of 0.563 with only 2.99 inference turns on average. In the evaluated complete-system comparison, it exceeds standard GRPO, strong multi-turn baselines, and a fixed-budget oracle-guided score-feedback reference while requiring substantially fewer turns than fixed ten-turn inference. These results demonstrate that learned self-verification can serve as an effective internal control signal for answer retention and adaptive test-time compute allocation.