Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
作者: Ziyuan Liu, Jiao Ou, Jian Liang, Ruiming Tang, Cheng Luo
分类: cs.CL
发布日期: 2026-08-27
💡 一句话要点
提出不确定性校准的多教师在线蒸馏以解决领域专门化问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 领域专门化 多教师蒸馏 不确定性校准 通用能力 机器学习
📋 核心要点
- 现有的多教师在线蒸馏方法在领域专门化时，通用能力往往受到损害，尤其是在推理和创意写作等方面。
- 本文提出不确定性校准的多教师在线蒸馏方法，通过双温度采样和正优势密度过滤，增强了学习信号的选择性和更新的可靠性。
- 实验结果显示，所提方法在角色扮演和医疗领域的通用能力平均提升显著，验证了其有效性和实用性。
📝 摘要（中文）
大型语言模型在特定领域的专门化能够提升领域特定行为，但往往会降低推理、编码、指令遵循和创意写作等通用能力。本文研究了多教师在线蒸馏（MOPD）中的领域与通用能力之间的权衡，指出标准MOPD在采样和更新方向的可靠性方面存在局限。为此，提出不确定性校准的MOPD，通过双温度采样扩展候选轨迹池，并利用正优势密度过滤选择强学习信号的轨迹。实验结果表明，该方法在角色扮演和医疗领域专门化中，通用能力平均提升分别达到4.73%和10.84%，同时保持领域性能。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在领域专门化过程中通用能力下降的问题。现有的标准多教师在线蒸馏方法在采样过程中未能有效暴露出具有较大正优势的标记，导致更新方向的可靠性不足。
核心思路：提出的不确定性校准的多教师在线蒸馏方法，通过双温度采样和正优势密度过滤，扩大了候选轨迹池，并通过中心对数似然过滤计算教师认可分数，从而提高更新的可靠性。
技术框架：该方法的整体架构包括三个主要模块：双温度采样模块、正优势密度过滤模块和中心对数似然过滤模块。双温度采样用于生成多样化的轨迹，正优势密度过滤选择强信号轨迹，最后通过教师认可分数进行更新。
关键创新：最重要的创新在于引入了不确定性校准机制，通过对轨迹和标记的选择性过滤，显著提升了模型的通用能力，同时保持了领域性能。这与传统方法的单一采样和更新策略形成鲜明对比。
关键设计：在参数设置上，采用了双温度采样策略，以增强轨迹的多样性；在损失函数设计上，结合了教师认可分数和更新方向一致性，确保了更新的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的不确定性校准的多教师在线蒸馏方法在角色扮演和医疗领域的通用能力平均提升分别达到4.73%和10.84%，显著优于标准MOPD，同时保持了领域专门化的性能，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括医疗、教育和客户服务等行业，能够帮助大型语言模型在特定领域中保持高效的通用能力，提升用户体验和交互质量。未来，该方法可能推动更多领域的智能应用，促进人机交互的智能化和个性化。
📄 摘要（原文）
Specializing large language models to vertical domains improves domain-specific behavior but often degrades general capabilities such as reasoning, coding, instruction following, and creative writing. We study this domain--general trade-off in Multi-Teacher On-Policy Distillation (MOPD), where a specialized student is supervised on its own sampled trajectories by domain and general teachers. Standard MOPD faces two limitations: ordinary on-policy sampling rarely exposes tokens with large positive teacher--student advantages, while the advantage sign alone does not establish whether the resulting update direction is reliable. We propose uncertainty-calibrated MOPD to address these limitations. Dual-temperature sampling broadens the candidate trajectory pool, and positive-advantage-density filtering selects trajectories with stronger positive learning signals. Centered log-likelihood (CLL) filtering then computes an entropy-calibrated teacher-endorsement score and probabilistically retains token updates according to direction--endorsement consistency. Experiments on role-playing and medical-domain specialization show that our method improves the general-capability average over standard MOPD by $4.73\%$ and $10.84\%$, respectively, while maintaining vertical-domain performance. Ablations and diagnostic analyses further confirm that the gains do not merely result from a larger rollout budget and that the proposed trajectory- and token-level mechanisms address their intended failure modes.