VIMPO: Value-Implicit Policy Optimization for LLMs

📄 arXiv: 2606.20008v1 📥 PDF

作者: Zhewei Kang, Aosong Feng, Sergey Levine, Dawn Song, Xuandong Zhao

分类: cs.LG

发布日期: 2026-06-18

💡 一句话要点

提出VIMPO以解决大语言模型的奖励分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 策略优化 无评论员 价值函数 信用分配 KL正则化 实验评估

📋 核心要点

  1. 现有的强化学习方法在简单性与奖励分配之间存在权衡，导致训练不稳定或信号稀疏。
  2. VIMPO通过推导策略隐含价值函数，提供了一种无评论员的策略优化方法，简化了训练过程。
  3. 在多个基准测试中，VIMPO相较于GRPO在性能上有显著提升，尤其在噪声奖励情况下表现更为稳定。

📝 摘要（中文）

随着可验证奖励的强化学习成为提升大语言模型推理能力的核心工具，现有方法面临简单性与信用分配之间的权衡。本文提出VIMPO，一种无评论员的策略优化方法，通过KL正则化强化学习的最优性条件推导出策略隐含价值函数。该方法在自回归生成中，利用策略参考对数比率和终止条件构建简单的价值损失，避免了训练评论员的复杂性。实验结果表明，VIMPO在多个数学RLVR基准测试中优于GRPO，尤其在竞争性评估中表现出更大的提升。即使在噪声奖励下，VIMPO也保持了相对优势，表明策略隐含价值优化能够提供更精细的信用分配，同时保持无评论员训练的实用简单性。

🔬 方法详解

问题定义：本文旨在解决现有强化学习方法在奖励分配上的不足，尤其是评论员训练带来的不稳定性和信号稀疏问题。

核心思路：VIMPO通过KL正则化强化学习的最优性条件推导出策略隐含价值函数，从而实现无评论员的策略优化，简化了训练过程。

技术框架：VIMPO的整体架构包括策略优化和价值损失两个主要模块。策略优化通过PPO风格的更新进行，而价值损失则通过策略参考对数比率和终止条件构建。

关键创新：VIMPO的核心创新在于其无评论员的设计，能够在不依赖于评论员的情况下实现有效的奖励整合和策略改进，这与传统的评论员方法有本质区别。

关键设计：VIMPO采用简单的价值损失函数，结合策略参考对数比率，确保在每个轨迹结束时没有未来奖励，从而实现有效的信用分配。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数学RLVR基准测试中，VIMPO在MATH-500、AIME 2024、AIME 2025和OlympiadBench上均优于GRPO，尤其在竞争性评估中表现出更大的提升。在噪声奖励情况下，VIMPO仍保持一致的优势，显示出其在复杂环境中的鲁棒性。

🎯 应用场景

VIMPO的研究成果在大语言模型的训练和优化中具有广泛的应用潜力，尤其是在需要高效奖励分配的任务中，如对话系统、文本生成和自动推理等领域。其简化的训练过程也为实际应用提供了更高的可操作性和稳定性。

📄 摘要（原文）

Reinforcement learning with verifiable rewards has become a central tool for improving the reasoning ability of large language models, but current methods face a trade-off between simplicity and credit assignment. Group-relative methods such as GRPO avoid training a critic, but typically assign a trajectory-level advantage to every token. Actor-critic methods provide denser learning signals, but require a learned value function with its own training instability. We introduce VIMPO, a critic-free policy optimization method that derives a policy-implied value function from the optimality conditions of KL-regularized reinforcement learning. For autoregressive generation, the resulting value recurrence can be written in terms of policy-reference log-ratios and anchored by the terminal condition that no future reward remains at the end of a trajectory. This gives a simple value loss that incorporates outcome-level verifiable rewards without training a critic. The same derivation also yields a critic-free actor advantage, allowing VIMPO to separate reward incorporation through the value loss from policy improvement through a PPO-style actor update. On mathematical RLVR benchmarks, VIMPO improves over GRPO across MATH-500, AIME 2024, AIME 2025, and OlympiadBench, with especially larger gains on competition-style evaluations. Under noisy rewards, VIMPO retains a consistent advantage over GRPO, suggesting that policy-implied value optimization can provide finer credit assignment while preserving the practical simplicity of critic-free training.