Experience Augmented Policy Optimization for LLM Reasoning

📄 arXiv: 2606.30420v1 📥 PDF

作者: Jinda Lu, Kexin Huang, Junkang Wu, Shuo Yang, Jinghan Li, Chiyu Ma, Shaohang Wei, Xiang Wang, Guoyin Wang, Jingren Zhou

分类: cs.LG

发布日期: 2026-06-29

💡 一句话要点

提出经验增强策略优化以提升大语言模型推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 大语言模型 推理能力 经验重用 策略优化 重要性采样 自然语言处理

📋 核心要点

  1. 现有RLVR方法依赖于从头开始的在线优化，导致高采样成本和经验利用不充分。
  2. 本文提出经验增强策略优化（EAPO），通过在关键决策点注入经验以提高学习效率。
  3. 实验结果显示，EAPO在多个基准测试中持续提升推理性能，超越了现有的RLVR方法。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）是一种提升大语言模型（LLMs）推理能力的有效范式。然而，现有的RLVR方法通常依赖于从头开始的在线优化，导致高采样成本和经验利用效率低下。随着模型能力和策略行为在训练过程中演变，固定推理轨迹的经验重用也面临策略不匹配的问题。针对这些局限性，本文提出经验增强策略优化（EAPO），通过利用先前的RL优化策略作为行动级经验先验，并在关键决策点选择性注入经验，以实现更有效的学习。实验结果表明，EAPO在五个基准测试上相较于最先进的RLVR方法显著提升了推理性能。

🔬 方法详解

问题定义：本文旨在解决现有RLVR方法在经验重用时的低效性和策略不匹配问题，尤其是在高采样成本和经验利用不足的情况下。

核心思路：EAPO的核心思想是将经验以策略自适应的方式表达，而不是固定的推理轨迹，从而更有效地利用已有经验。

技术框架：EAPO的整体架构包括利用先前的RL优化策略作为行动级经验先验，并在关键决策点进行经验注入，同时结合适应性重要性采样方案以确保学习的稳定性和无偏性。

关键创新：EAPO的主要创新在于其经验注入机制和重要性采样的结合，这与传统的固定轨迹重用方法有本质区别，能够更好地适应模型的动态变化。

关键设计：在EAPO中，关键设计包括选择性注入经验的决策点、适应性重要性采样的实现，以及损失函数的设计，以确保在不同阶段的学习效果最大化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EAPO在使用Qwen-2.5-math 7b和Qwen-3-8B模型的五个基准测试中，推理性能显著优于现有的RLVR方法，具体提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和自动推理等。通过提升大语言模型的推理能力，EAPO能够在实际应用中提供更准确和高效的决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement Learning with Verifiable Rewards (RLVR) is a powerful paradigm for improving the reasoning capabilities of large language models (LLMs). However, existing RLVR methods typically rely on on-policy optimization from scratch, resulting in high sampling costs and inefficient utilization of accumulated experience. As model capabilities and policy behaviors evolve during training, recent attempts to reuse experience via fixed reasoning trajectories further suffer from policy mismatch. Motivated by these limitations, we argue that experience in RLVR should not be reused as fixed reasoning trajectories, but instead expressed in a policy-adaptive manner. In this work, we propose Experience-Augmented Policy Optimization (EAPO), which leverages a prior RL-optimized policy as an action-level experience prior and selectively injects experience at critical decision points during rollout. To ensure stable and unbiased learning from experience-augmented rollouts, EAPO further incorporates an adapted importance sampling scheme. Experiments on using Qwen-2.5-math 7b and Qwen-3-8B on five different benchmarks demonstrate that EAPO consistently improves reasoning performance over state-of-the-art RLVR methods.