Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients

📄 arXiv: 2606.18216v1 📥 PDF

作者: Byung-Kwan Lee, Ximing Lu, Shizhe Diao, Minki Kang, Saurav Muralidharan, Karan Sapra, Andrew Tao, Pavlo Molchanov, Yejin Choi, Yu-Chiang Frank Wang, Ryo Hachiuma

分类: cs.CL

发布日期: 2026-06-16

备注: Project page: https://byungkwanlee.github.io/ZPPO-page/

💡 一句话要点

提出ZPPO以解决小学生模仿教师问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 强化学习 多模态学习 策略优化 模型泛化 教育机器人 智能问答

📋 核心要点

  1. 现有知识蒸馏方法在小学生模型中表现脆弱，容易导致过拟合，影响模型的泛化能力。
  2. ZPPO通过在提示中引入教师响应，而非在策略梯度中进行注入，避免了强化学习中的假设破坏。
  3. 在多个基准测试中，ZPPO在小规模学生模型上表现优异，超越了传统的蒸馏方法和其他对比基线。

📝 摘要（中文）

知识蒸馏在小学生模型中存在脆弱性，强迫学生模仿大型教师的输出会导致过拟合，影响泛化能力。强化学习通过学生自身的回合训练避免了这一问题，但在所有回合失败的情况下，注入教师的响应会破坏策略梯度的假设。为此，本文提出了“近端策略优化区（ZPPO）”，通过在提示中保留教师的响应而非在策略梯度中进行注入，构建了两种新型提示，提升了学生模型在困难问题上的表现。实验结果表明，ZPPO在多个基准测试中超越了现有的蒸馏方法，尤其在小规模学生模型中表现显著。

🔬 方法详解

问题定义：论文要解决的问题是知识蒸馏在小学生模型中的脆弱性，特别是在强迫学生模仿大型教师模型输出时，导致的泛化能力下降。现有方法在面对所有回合失败的情况下，注入教师响应会破坏策略梯度的假设。

核心思路：论文的核心思路是引入“近端策略优化区（ZPPO）”，通过在提示中保留教师的响应，构建新的提示形式，帮助学生模型在困难问题上进行更有效的学习。

技术框架：ZPPO的整体架构包括两个主要模块：一是二元候选问题（BCQ），将一个正确的教师响应与一个错误的学生响应配对；二是负候选问题（NCQ），将学生的错误回合聚合为一个提示。通过提示重放缓冲区循环使用困难问题，直到学生的平均回合准确率达到一定阈值。

关键创新：最重要的技术创新点在于将教师的知识通过提示而非策略梯度注入，避免了强化学习中的假设破坏，提升了学生模型的学习效果。

关键设计：在设计上，BCQ和NCQ的构建方式是关键，BCQ通过对比正确与错误的响应来引导学生，NCQ则通过聚合错误回合来揭示共同的失败模式，增强了学生的学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ZPPO在Qwen3.5系列模型上，尤其在小规模学生模型（0.8B-9B）中，超越了传统的蒸馏方法和GRPO，表现出显著的性能提升，尤其在31个基准测试中，取得了最佳结果。

🎯 应用场景

该研究的潜在应用领域包括教育机器人、智能问答系统和多模态学习等。通过提升小规模模型的学习能力，ZPPO可以在资源受限的环境中实现更高效的知识传递，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge distillation transfers a teacher's competence to a small student but is brittle in the small-student regime: forcing the student to imitate logits from a much larger teacher concentrates it on the teacher's sharpest modes, hurting generalization on benchmark families beyond the training corpus. Reinforcement learning (RL) avoids logit imitation by training on the student's own rollouts. However, on questions where every rollout fails-yielding zero advantage and being silently discarded-injecting a stronger teacher's response into the policy gradient breaks the on-policy assumption and induces drift. We introduce Zone of Proximal Policy Optimization (ZPPO), inspired by Vygotsky's zone of proximal development, which keeps the teacher inside the prompt rather than the policy gradient. On hard questions, ZPPO constructs two reformulated prompts: a Binary Candidate-included Question (BCQ) pairs one correct teacher response with one incorrect student response as anonymized candidates the student must discriminate, and a Negative Candidate-included Question (NCQ) aggregates the student's wrong rollouts into a single prompt to surface their shared failure modes. A prompt replay buffer recirculates each hard question until it either graduates-the student's mean rollout accuracy on it reaches half- or is FIFO-evicted under finite capacity, amplifying BCQ and NCQ inside the student's current zone of proximal development. On the Qwen3.5 family at four student scales (0.8B-9B) with a 27B teacher, post-trained as vision-language models and evaluated on a 31-benchmark suite (16 VLM, 10 LLM, 5 Video), ZPPO outperforms off/on-policy distillation and GRPO, with the largest gains at the smallest scale.