Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold
作者: Songshuo Lu, Zhi Chen, Yaohua Tang
分类: cs.LG
发布日期: 2026-07-30
💡 一句话要点
提出扩展与压缩框架以提升推理解决方案的有效性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 强化学习 推理模型 教师蒸馏 多教师系统 策略优化
📋 核心要点
- 现有的强化学习方法往往只关注有效解决模式的部分，导致教师模型不完整，无法全面指导学生学习。
- 本研究提出的扩展-压缩框架通过构建多个教师并进行策略蒸馏，旨在全面覆盖推理解决方案流形，提高学生模型的学习效果。
- 实验结果显示，Qwen3-1.7B学生在多个任务上均超越最强教师，验证了通过构建互补教师联合而非单一教师的有效性。
📝 摘要（中文）
单次强化学习运行可以产生强大的推理者，但通常只放大有效解决模式的子集。我们认为，强化学习训练的策略应被视为多盆地推理解决方案流形的局部探针，而非全球可靠的监督者。基于此观点，我们提出了一个扩展-压缩框架，将教师构建与多教师策略蒸馏结合。在扩展阶段，残差组相对策略优化（RGRPO）从共同初始化中训练一系列教师，并将每一轮的重定向指向尚未覆盖的示例。在压缩阶段，可靠性门控教师联合在线蒸馏（TU-OPD）让学生从自身响应前缀中学习。实验表明，Qwen3-1.7B学生在数学推理、代码生成和指令跟随等领域均优于最强个体教师，分别提升2.0%、8.3%和6.9%。
🔬 方法详解
问题定义：本论文旨在解决现有强化学习方法中教师模型不完整的问题，现有方法往往只放大部分有效解决模式，导致学生学习效果受限。
核心思路：论文提出的扩展-压缩框架通过构建多个教师并进行策略蒸馏，旨在全面覆盖推理解决方案流形，从而提升学生模型的学习能力。
技术框架：该框架分为两个主要阶段：扩展阶段和压缩阶段。在扩展阶段，使用RGRPO训练一系列教师，逐步覆盖未被覆盖的示例；在压缩阶段，使用TU-OPD让学生从可靠教师中学习。
关键创新：最重要的创新在于引入了Consensus-Residual Decomposition，确保在教师聚合过程中不抑制专门教师的行为，从而提升了模型的多样性和学习效果。
关键设计：在TU-OPD中，损失函数根据每个教师的可靠性进行加权，确保只有高质量的教师对学生的学习产生影响，同时保持了学生模型的单模型推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Qwen3-1.7B学生在数学推理、代码生成和指令跟随任务中，分别相较于最强个体教师提升了2.0%、8.3%和6.9%。这些结果验证了通过构建和压缩互补教师联合的有效性，展示了该方法的强大潜力。
🎯 应用场景
该研究的潜在应用领域包括数学推理、代码生成和指令跟随等任务，能够显著提升模型在复杂推理任务中的表现。未来，该框架可能在更广泛的人工智能领域中应用，推动智能系统的学习能力和推理能力的提升。
📄 摘要（原文）
A single reinforcement-learning run can produce a strong reasoner yet an incomplete teacher: it often amplifies only a subset of the valid solution modes. We argue that reinforcement learning (RL)-trained policies should therefore be viewed as local probes of a multi-basin reasoning solution manifold, rather than as globally reliable supervisors. Based on this view, we propose an expand-then-compress framework that couples teacher construction with multi-teacher policy distillation. In the expansion stage, Residual Group Relative Policy Optimization (RGRPO) trains a sequence of teachers from a common initialization and redirects each later round toward examples not yet covered by the accumulated teacher union. In the compression stage, reliability-gated Teacher-Union On-policy Distillation (TU-OPD) lets the student learn from its own response prefixes. For each example, only reliable teachers contribute, and their sampled-token OPD losses are weighted by their per-example quality. We further introduce Consensus-Residual Decomposition, which preserves a winner teacher's excess token preferences over its reliable peers, preventing specialist behavior from being suppressed during teacher aggregation. Experiments on mathematical reasoning, code generation, and instruction following show that the resulting Qwen3-1.7B student consistently outperforms the strongest individual teacher across all three domains, yielding relative improvements of 2.0%, 8.3%, and 6.9%, respectively, while retaining single-model inference. These results establish a simple but powerful principle: stronger students can be obtained not by selecting a single better teacher, but by deliberately constructing and compressing a complementary teacher union.