Building Multi-Task Agentic LLMs via Two-Phase Distillation
作者: Huaijie Wang, Shusheng Xu, Yi Wu, Kaifeng Lyu
分类: cs.LG
发布日期: 2026-06-29
💡 一句话要点
提出双阶段蒸馏方法以构建多任务智能大模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多任务学习 强化学习 蒸馏训练 对话系统 游戏AI
📋 核心要点
- 现有方法在多任务设置中表现不佳，尤其是离线蒸馏由于模式覆盖导致性能下降。
- 论文提出的双阶段方法结合了离线蒸馏和在线精炼，以克服单一方法的局限性。
- 实验结果显示，该方法在对话代理和文本游戏中达到了单任务强化学习专家的性能水平。
📝 摘要（中文）
实现人工通用智能的关键步骤是训练能够执行多项任务的模型。本文研究了如何通过首先为单个任务训练独立的强化学习专家，然后通过蒸馏将其整合，作为直接在混合任务上训练单一模型的替代方案。我们发现，在多任务设置中，离线蒸馏由于前向KL的模式覆盖特性而退化：来自多个任务的数据聚合引入了大量行为模式，超出了学生模型的容量，导致性能下降。相反，在线蒸馏虽然是模式寻求的，但需要强初始化。基于这些观察，我们提出了一种双阶段方法：离线蒸馏后跟在线精炼。对话代理和基于文本的游戏的评估结果证实，这种双阶段方法在每个单独任务上匹配单任务强化学习专家的性能，而单独使用离线或在线蒸馏则无法达到这一性能。
🔬 方法详解
问题定义：本文旨在解决多任务学习中模型性能下降的问题，尤其是现有的离线蒸馏在多任务环境下的局限性。
核心思路：提出一种双阶段蒸馏方法，首先进行离线蒸馏以聚合多个任务的知识，然后通过在线精炼来优化模型性能，确保模型能够有效处理多样化的任务。
技术框架：整体流程分为两个主要阶段：第一阶段为离线蒸馏，聚合来自不同任务的数据；第二阶段为在线精炼，针对每个任务进行细化训练。
关键创新：最重要的创新在于将离线蒸馏与在线精炼结合，克服了单一蒸馏方法在多任务学习中的不足，提升了模型的适应性和性能。
关键设计：在离线蒸馏阶段，采用了特定的损失函数以平衡不同任务的数据影响；在线精炼阶段则需要强初始化，以确保模型能够有效学习每个任务的特征。具体参数设置和网络结构设计在实验中进行了详细验证。
🖼️ 关键图片
📊 实验亮点
实验结果表明，双阶段蒸馏方法在对话代理和文本游戏中均达到了单任务强化学习专家的性能，显著优于单独使用离线或在线蒸馏的方法，展示了在多任务学习中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括对话系统、游戏AI和其他需要多任务处理的智能系统。通过提高模型在多任务环境中的表现，能够推动人工智能在更复杂场景中的应用，提升用户体验和系统效率。
📄 摘要（原文）
A key step toward artificial general intelligence is to train models that can perform multiple tasks. In this paper, we study how to build such models by first training separate RL experts for individual tasks and then consolidating them via distillation, as an alternative to directly training a single model on mixed tasks. We show that off-policy distillation degrades in multi-task settings due to the mode-covering nature of forward KL: aggregating data from multiple tasks introduces a large number of behavioral modes that can exceed the student's capacity, forcing it to average across behaviors and leading to degraded performance. In contrast, on-policy distillation is mode-seeking but requires strong initialization. Inspired by these observations, we propose a two-phase approach: off-policy distillation followed by on-policy refinement. Evaluation across conversational agents and text-based games confirms that this two-phase approach matches single-task RL expert performance for each individual task, whereas off-policy or on-policy distillation alone fails to match this performance.