Upcycling Language Models for Multiple Specialized Domains

📄 arXiv: 2610.40091v1 📥 PDF

作者: Mingzi Cao, Xi Wang, Nikolaos Aletras

分类: cs.CL, cs.AI

发布日期: 2026-10-29

💡 一句话要点

提出领域专用的模型扩展方法以解决多领域适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多领域适应 模型扩展 领域感知监督 低秩适应 自然语言处理 专家选择 路由器设计

📋 核心要点

  1. 现有的多领域适应方法在处理领域间干扰时存在不足，无法有效选择相关适配器。
  2. 本文提出领域专用的模型扩展方法（DS-Upcycling），通过引入领域感知监督来优化专家选择。
  3. 实验表明，DS-Upcycling在适应领域的平均性能上优于基线方法，且路由准确率显著提高。

📝 摘要（中文）

有效的多领域适应需要优先考虑相关领域知识，同时最小化无关领域的干扰。现有方法通常使用低秩适应（LoRA）为每个领域训练单独的适配器，但存在平等加权适配器或动态加权但仍激活所有适配器的问题。本文提出领域专用的模型扩展方法（DS-Upcycling），通过引入领域感知监督，使路由器能够有效区分领域并选择合适的专家。在每个新领域的微调过程中，仅更新相应的专家和路由器，冻结其他参数。实验结果表明，与基线相比，DS-Upcycling在适应领域的平均性能上达到了最高，同时保持了通用性能。

🔬 方法详解

问题定义：本文旨在解决多领域适应中领域间干扰的问题。现有方法如LoRA在适配器加权和激活方面存在不足，导致性能受限。

核心思路：DS-Upcycling通过引入领域感知监督，使路由器能够有效选择适合的专家，从而提高模型在特定领域的适应能力。

技术框架：该方法包括一个密集的Transformer层，增加了专家和路由器模块。在微调过程中，仅更新与当前领域相关的专家和路由器，保持其他参数不变。

关键创新：DS-Upcycling的核心创新在于领域感知监督的引入，使得路由器能够根据输入领域选择合适的专家，显著提升了模型的适应性和性能。

关键设计：在参数设置上，使用256个样本进行路由器监督，损失函数设计为优化路由准确率，网络结构上增加了专家模块以扩展模型容量。

📊 实验亮点

实验结果显示，DS-Upcycling在适应领域的平均性能上超越了基线方法，路由器的准确率在适应后达到了90-98%，而未采用该方法的路由器准确率仅为43-70%。这一显著提升证明了该方法的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在需要处理多种领域知识的自然语言处理任务中，如智能客服、跨领域知识检索等。通过提高模型在特定领域的适应能力，能够显著提升实际应用的效果和用户体验，未来可能对多领域AI系统的设计产生深远影响。

📄 摘要（原文）

Effective multi-domain adaptation of large language models requires prioritizing relevant domain knowledge while minimizing interference from irrelevant domains. Existing approaches commonly use Low-Rank Adaptation (LoRA) to train a separate adapter for each domain and combine these adapters within one model. However, they either weight adapters equally regardless of the input domain or dynamically weight adapters while still activating all of them including irrelevant ones. Additionally, while efficient, their low-rank structure limits performance. In contrast, upcycling is a model expansion method that adds experts and a router to a dense Transformer layer offering larger capacity than LoRA approaches. In this paper, we propose Domain-Specialized Upcycling (DS-Upcycling) for multi-domain adaptation. We introduce a new domain-aware supervision that allows the router to effectively learn to distinguish domains by selecting the appropriate experts. During fine-tuning on each new domain, we update only the corresponding expert and router while freezing all other parameters. Experiments show that our method achieves the highest average performance across the adapted domains compared to baselines while retaining general performance. With just 256 examples per domain for router supervision, DS-Upcycling achieves 90-98% routing accuracy after adaptation compared with 43-70% for routers trained without our approach.