REVES: REvision and VErification--Augmented Training for Test-Time Scaling

📄 arXiv: 2606.18910v1 📥 PDF

作者: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

分类: cs.LG, cs.CL

发布日期: 2026-06-17

🔗 代码/项目: GITHUB

💡 一句话要点

提出REVES以解决大语言模型推理中的多步骤优化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 推理优化 强化学习 数据增强 错误识别

📋 核心要点

  1. 现有的后训练方法主要优化单次目标，未能有效利用多步骤推理中的高质量错误。
  2. 本文提出的REVES框架通过在线数据增强和策略优化，利用中间步骤的“近失”答案进行训练。
  3. 在LiveCodeBench上，REVES相较于强化学习基线提升了6.5分，并在其他约束满足问题上也表现出色。

📝 摘要（中文）

测试时缩放通过序列修正已成为增强大型语言模型（LLM）推理的有效范式。然而，标准的后训练方法主要优化单次目标，导致与多步骤推理动态之间存在根本不匹配。本文提出了一种两阶段迭代框架，交替进行在线数据/提示增强和策略优化，通过将成功恢复轨迹中的中间步骤转化为解耦的修正和验证提示，集中训练有效的答案转化和错误识别。实验结果表明，该方法在LiveCodeBench上相较于强化学习基线提升了6.5分，并在圆形打包问题上达到了最小基础模型的最佳结果。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型在多步骤推理中的优化不足，尤其是未能有效利用中间步骤的错误信息。现有方法往往直接优化多步骤轨迹，未能充分挖掘中间结果的潜在学习价值。

核心思路：REVES框架通过将成功恢复轨迹中的中间步骤转化为修正和验证提示，集中训练模型的答案转化和错误识别能力。这样的设计使得模型能够更有效地从错误中学习，提升推理能力。

技术框架：该框架分为两个主要阶段：在线数据/提示增强和策略优化。在数据增强阶段，模型生成中间步骤的修正提示；在策略优化阶段，模型通过强化学习优化其推理策略。

关键创新：REVES的核心创新在于将中间步骤的“近失”答案解耦为修正和验证提示，这一设计与传统方法直接优化多步骤轨迹的方式本质不同，能够更好地利用错误信息。

关键设计：在模型训练中，采用了特定的损失函数来平衡修正和验证的效果，同时在数据增强中引入了多样化的提示，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在LiveCodeBench上，REVES方法相较于强化学习基线提升了6.5分，且在圆形打包问题上达到了最小基础模型的最佳结果，展示了其在多步骤推理中的有效性和优势。

🎯 应用场景

REVES框架具有广泛的应用潜力，尤其在需要高效推理和错误修正的领域，如编程辅助、约束满足问题求解等。其方法论可以推广到其他需要多步骤推理的任务中，提升模型的智能化水平和实用性。

📄 摘要（原文）

Test-time scaling via sequential revision has emerged as a powerful paradigm for enhancing Large Language Model (LLM) reasoning. However, standard post-training methods primarily optimize single-shot objectives, creating a fundamental misalignment with multi-step inference dynamics. While recent work treats this as multi-turn reinforcement learning (RL), conventional approaches optimize over the multi-step trajectories directly, failing to further exploit the high-quality mistakes in intermediate steps that model can learn from correcting them. We propose a two-stage iterative framework that alternates between online data/prompt augmentation and policy optimization. By converting the intermediate steps (``near-miss'' answers) in the successful recovery trajectories into decoupled revision and verification prompts, our approach concentrates training on both effective answer transformation and error identification. This approach enables efficient off-policy data generation and reduces the computational overhead of long-horizon sampling compared to standard multi-turn RL. On LiveCodeBench, using publicly available test cases as feedback, we observe gains of +6.5 points over the RL baseline and +4.0 points over standard multi-turn training. Beyond coding, our approach matches the previously reported SOTA result on circle packing while using the smallest base model (4B) and far fewer rollouts than the much larger evolutionary search systems. Math results under ground-truth verification further confirm improved correction ability. It also generalizes to out-of-distribution constraint-satisfaction puzzles such as n_queens and mini_sudoku, where correctness is defined entirely by problem constraints. Code is available at https://github.com/yxliu02/REVES.git.