Be My Tutor: On-Policy Co-Distillation for Mutual LLM Improvement via Peer Feedback

📄 arXiv: 2606.14368v1 📥 PDF

作者: Woohyeon Byeon, Jiwon Jeon, Jeonghye Kim, Youngchul Sung

分类: cs.LG, cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出On-Policy Co-Distillation以实现多领域LLM的互助提升

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 大语言模型 互助学习 蒸馏训练 多领域学习 科学问答

📋 核心要点

  1. 现有的模型训练方法往往是单向的，难以实现模型间的互助提升，导致模型在某些领域的能力下降。
  2. 论文提出的On-Policy Co-Distillation方法通过自蒸馏和同伴反馈的结合，使得两个模型能够在不同领域互相提升。
  3. 实验结果表明，OPCoD在科学问答任务中持续超越基线，所有评估的领域对和学生均实现了Pareto改进。

📝 摘要（中文）

本研究探讨了多领域大语言模型（LLM）训练，其中两个在不同领域各具优势的模型通过政策反馈相互辅导，实现共同进步。与单向蒸馏或单模型微调不同，我们的目标是实现互惠的Pareto改进：每个模型在不失去原有优势的情况下，跨领域提升。为此，我们提出了On-Policy Co-Distillation（OPCoD），其核心在于每个学生的自蒸馏依赖于自身的正确回滚和来自同伴的反馈。为了提高反馈交换的有效性，OPCoD采用了基于认知的门控机制来决定何时给予反馈，并通过反馈锚定将反馈与问题紧密结合。在科学问答任务上，OPCoD在所有评估的领域对和学生中均优于基线，达成了Pareto改进。

🔬 方法详解

问题定义：本研究旨在解决多领域大语言模型（LLM）训练中的互助提升问题。现有方法多为单向蒸馏，导致模型在某些领域的能力下降，无法实现模型间的协同进步。

核心思路：论文提出的On-Policy Co-Distillation（OPCoD）方法，通过自蒸馏与同伴反馈相结合，使得两个模型能够在不同领域互相提升，达到互惠的Pareto改进。

技术框架：OPCoD的整体架构包括两个主要模块：自蒸馏模块和反馈模块。自蒸馏模块基于模型自身的正确回滚进行学习，而反馈模块则通过认知门控机制决定何时给予反馈，并通过反馈锚定将反馈与具体问题结合。

关键创新：OPCoD的核心创新在于其互助反馈机制，区别于传统的单向蒸馏方法，使得两个模型能够在保持各自优势的同时，实现跨领域的共同提升。

关键设计：在OPCoD中，采用了认知门控机制来优化反馈的时机和内容，同时设计了反馈锚定策略，以确保反馈的有效性和针对性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OPCoD在科学问答任务上显著优于基线方法，所有评估的领域对和学生均实现了Pareto改进，具体性能提升幅度未明确给出，但整体表现持续优越。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和多领域知识图谱构建等。通过模型间的互助提升，可以在不同领域中实现更高效的知识传递和应用，未来可能对智能助手和自动化学习系统产生深远影响。

📄 摘要（原文）

We study multi-domain LLM training in which two models, each stronger in a different domain, co-evolve by tutoring each other through on-policy feedback. Unlike one-way distillation or single-model fine-tuning, our goal is mutual Pareto improvement: each model improves across domains without losing its original strength. To this end, we propose On-Policy Co-Distillation (OPCoD), where each student's self-distillation is conditioned on its own correct rollout and feedback from its peer. To make feedback exchange effective, OPCoD uses cognizance-based gating to decide when to give feedback and feedback anchoring to ground feedback in the problem. On Science Q\&A tasks, OPCoD consistently outperforms baselines and achieves Pareto improvement across all evaluated domain pairs and students.