PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF

📄 arXiv: 2606.29758v1 📥 PDF

作者: Doo Hwan Hwang, Kee-Eung Kim

分类: cs.LG, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出PS-PPO以解决RLHF中的优化成本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类反馈强化学习 无评论方法 前缀采样 计算效率 深度学习

📋 核心要点

  1. 现有的无评论RLHF方法在长推理过程中需要全轨迹策略更新，导致优化成本高昂。
  2. PS-PPO通过引入前缀采样机制，仅更新轨迹的部分信息，从而提高计算效率。
  3. 实验结果显示，PS-PPO在训练计算和内存使用上有显著降低，同时保持了与基线相当的性能。

📝 摘要（中文）

人类反馈强化学习（RLHF）在大型语言模型中日益依赖无评论的方法，作为演员-评论家训练的实际替代方案。尽管现有的无评论方法简单，但它们在整个轨迹中均匀传播学习信号，导致每次回滚都需要全轨迹策略更新，从而在长推理过程中产生显著的优化成本。我们提出了前缀采样近端策略优化（PS-PPO），这是一种计算高效的无评论RLHF方法，利用了时间冗余。PS-PPO引入了基于提示的截止分布，并为每个轨迹采样截止时间步。在更新过程中，PS-PPO仅通过每个轨迹的采样前缀进行反向传播，并应用重要性加权修正，以确保截断梯度估计器相对于全轨迹目标保持无偏。实验结果表明，PS-PPO在数学推理和RLHF基准测试中显著降低了训练计算和峰值GPU内存，同时保持了与强无评论基线相当的准确性。

🔬 方法详解

问题定义：现有的无评论RLHF方法在每次回滚时需要对整个轨迹进行策略更新，这在长推理过程中导致了高昂的计算成本和内存消耗。

核心思路：PS-PPO通过引入前缀采样机制，允许模型仅更新轨迹中的一部分信息，从而减少不必要的计算，同时保持学习信号的有效性。

技术框架：PS-PPO的整体架构包括轨迹生成、前缀采样和更新三个主要模块。首先生成轨迹，然后根据提示条件采样截止时间步，最后仅通过采样的前缀进行反向传播。

关键创新：PS-PPO的核心创新在于引入了提示条件的截止分布和重要性加权修正，使得截断的梯度估计器在相对于全轨迹目标时保持无偏。这一设计显著提高了计算效率。

关键设计：在PS-PPO中，截止时间步的采样和重要性加权是关键设计，确保了在更新过程中能够有效利用轨迹中的信息，同时避免了全轨迹更新带来的计算负担。具体的参数设置和损失函数设计在实验中经过验证，以确保模型性能的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PS-PPO在数学推理和RLHF基准测试中实现了训练计算和峰值GPU内存的显著降低，具体减少幅度达到XX%（具体数据未知），同时保持了与强无评论基线相当的准确性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的训练和优化，尤其是在需要处理长推理任务的场景中。通过降低计算成本和内存使用，PS-PPO可以使得RLHF方法在实际应用中更加高效，推动自然语言处理和人工智能领域的发展。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF) for Large Language Models increasingly relies on critic-free methods as a practical alternative to actor--critic training. Despite their simplicity, existing critic-free approaches propagate a trajectory-level learning signal uniformly across all tokens in a trajectory. This requires full-trajectory policy updates for every rollout, leading to substantial optimization cost for long reasoning traces, even though intermediate prefixes often contain enough information to largely determine the final outcome. We propose Prefix-Sampling Proximal Policy Optimization (PS-PPO), a compute-efficient critic-free method for RLHF that exploits this temporal redundancy. PS-PPO introduces a prompt-conditioned cutoff distribution and samples a cutoff timestep for each trajectory. During the update pass, PS-PPO backpropagates only through the sampled prefix of each trajectory and applies an importance-weighting correction so that the resulting truncated gradient estimator remains unbiased with respect to the full-trajectory objective. Experiments on mathematical reasoning and RLHF benchmarks show that PS-PPO achieves large reductions in training compute and peak GPU memory, while maintaining accuracy comparable to strong critic-free baselines.