Learn from Whoever Is Right: Answer-Verified Multi-Teacher Distillation for Multi-Domain LLMs
作者: Xixiang He, Xingming Li, Baiqi Wu, Qiyao Sun, Xuanyu Ji, Ao Cheng, Qingyong Hu
分类: cs.LG, cs.AI
发布日期: 2026-09-02
🔗 代码/项目: GITHUB
💡 一句话要点
提出多教师自蒸馏策略优化以解决多领域LLM集成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多教师蒸馏 自蒸馏 大型语言模型 答案验证 强化学习 知识传递 领域适应
📋 核心要点
- 现有方法依赖领域标签来决定教师的监督，但匹配的教师并不总是正确，导致知识传递不可靠。
- 提出MT-SDPO方法，通过自锚点、答案验证和特权蒸馏来动态识别每个样本的可靠教师。
- 实验结果显示，MT-SDPO使Qwen3-8B模型的最弱领域提升了14.79分，领域差距缩小了74.7%。
📝 摘要（中文）
现代大型语言模型（LLMs）依赖强化学习在各个领域建立强大的能力，但将这些能力整合到一个可部署的模型中仍然具有挑战性。现有方法通过将每个样本路由到与其领域匹配的教师来决定监督来源，但匹配的教师并不总是正确的。本文提出了多教师自蒸馏策略优化（MT-SDPO），一种将多个冻结教师统一为一个学生模型的在线蒸馏方法。MT-SDPO包括三个组成部分：自锚点、答案验证资格和特权蒸馏。实验表明，MT-SDPO显著提升了Qwen3-8B模型的表现，缩小了领域间的差距，验证了可靠性应优先于领域归属。
🔬 方法详解
问题定义：本文旨在解决在多领域大型语言模型中，教师的领域匹配并不总是能保证其正确性的问题。现有方法依赖于领域标签来选择教师，导致知识传递的可靠性不足。
核心思路：论文提出的MT-SDPO方法通过动态识别每个样本的可靠教师，打破了传统的领域依赖，确保每个样本都能获得最佳的监督。
技术框架：MT-SDPO的整体架构包括三个主要模块：自锚点模块通过正确的回滚进行监督；答案验证模块确保教师的答案通过验证后才进行监督；特权蒸馏模块将锚点和所有验证反馈合并为一个上下文供自教师使用。
关键创新：MT-SDPO的核心创新在于不再依赖领域标签，而是根据每个样本的答案可靠性来选择教师，这一方法显著提高了知识传递的准确性。
关键设计：在设计中，采用了动态的答案验证机制，确保只有通过验证的教师才能参与监督，同时使用指数移动平均来保持自教师的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，MT-SDPO在五个学生模型中显著提升了Qwen3-8B模型的最弱领域表现，提升幅度达到14.79分，领域间差距缩小了74.7%，表现优于传统的单一教师监督方法。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和多领域知识整合等。通过提高模型在多领域的表现，MT-SDPO能够为实际应用提供更可靠的支持，推动智能助手和自动化系统的发展。未来，该方法可能在更广泛的AI应用中发挥重要作用。
📄 摘要（原文）
Modern large language models (LLMs) rely on reinforcement learning to build strong capabilities in individual domains, but integrating those capabilities into a single deployable model remains challenging. By routing each sample to the teacher whose domain matches it, existing approaches let a domain label decide which teacher provides supervision. However, domain expertise holds only on average: the matched teacher is not always correct on a given sample, while a teacher from another domain sometimes is. The reliable teacher therefore has to be identified per sample, not per domain. In this paper, we introduce Multi-Teacher Self-Distillation Policy Optimization (MT-SDPO), an on-policy distillation method that unifies several frozen teachers into one student model. MT-SDPO consists of three components: (1) self-anchors, where a rollout is supervised by a correct rollout from its own group; (2) answer-verified eligibility, where a teacher may supervise a sample only if its own answer passes a verifier; and (3) privileged distillation, which merges the anchor and all verified feedback into one context that an exponential moving average self-teacher reads and the student does not, thereby keeping one policy at deployment. Across five students from three model families, MT-SDPO lifts the weakest domain of Qwen3-8B by 14.79 points and narrows its domain gap by 74.7%, a better balance than serving one matched teacher per domain. Verified reliability, not domain membership, should decide who teaches. Code is available at https://github.com/hexixiang/MT-SDPO.