Decoupled Mixture-of-Experts for Parametric Knowledge Injection

📄 arXiv: 2606.14243v1 📥 PDF

作者: Baoqing Yue, Weihang Su, Qingyao Ai, Yichen Tang, Changyue Wang, Jiacheng Kang, Jingtao Zhan, Yiqun Liu

分类: cs.CL

发布日期: 2026-06-12

💡 一句话要点

提出解耦混合专家模型以解决知识注入问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识注入 混合专家 大型语言模型 模块化架构 自回归推理 不确定性感知

📋 核心要点

  1. 现有知识注入方法在灵活性与集成性之间存在权衡，导致知识更新困难和性能下降。
  2. 本文提出的DMoE架构通过解耦专家和路由器，允许独立更新专家模块，提升知识注入的灵活性。
  3. 实验结果显示，DMoE在知识密集型任务中显著提高了答案质量，相较于基线方法有明显的性能提升。

📝 摘要（中文）

知识注入旨在为大型语言模型（LLMs）提供外部、特定领域或时间敏感的知识。现有方法通常在灵活性和集成之间存在权衡：检索增强生成将知识保留在模型外部，但仅提供提示级别的增强，而基于后训练的方法则将新知识编码到共享参数中，但可能引入灾难性遗忘、知识冲突和昂贵的更新。本文提出了解耦混合专家（DMoE），一种用于参数知识注入的模块化架构，能够将专家和路由器与基础模型解耦。DMoE将外部知识库转换为可独立更新的专家模块，并使用轻量的不确定性感知路由器，仅在基础模型在生成过程中缺乏足够知识时激活相关专家。实验表明，DMoE在知识密集型基准测试中始终优于检索和适配器基线，提升了答案质量。

🔬 方法详解

问题定义：本文旨在解决现有知识注入方法在灵活性和集成性之间的权衡问题。现有方法如检索增强生成和后训练方法，分别存在知识更新困难和灾难性遗忘等痛点。

核心思路：DMoE通过解耦专家模块和路由器，使得外部知识可以独立更新，从而避免了知识冲突和更新成本高的问题。该设计允许在生成过程中根据需要激活相关专家，提高了知识注入的灵活性。

技术框架：DMoE的整体架构包括基础模型、独立的专家模块和轻量的不确定性感知路由器。路由器在基础模型知识不足时激活相关专家，确保知识的有效利用。

关键创新：DMoE的主要创新在于将知识注入模块化，允许专家模块独立更新，并通过不确定性感知路由器优化专家的激活过程。这与现有方法的集成方式形成鲜明对比。

关键设计：DMoE在最后一层的前馈网络中附加专家模块，保持KV-cache的重用，同时实现参数级的知识增强。该设计确保了高效的自回归推理，并降低了计算开销。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DMoE在多个知识密集型基准测试中显著提高了答案质量，相较于检索和适配器基线，性能提升幅度达到了X%（具体数据待补充），展示了该方法在知识注入任务中的有效性和优势。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要快速更新知识的领域，如医疗、金融和法律等。通过有效的知识注入，DMoE能够提升大型语言模型在特定领域的表现，增强其在实际应用中的可靠性和准确性。未来，该方法可能推动更多领域的智能系统发展，提升人机交互的质量。

📄 摘要（原文）

Knowledge injection aims to equip large language models (LLMs) with external, domain-specific, or time-sensitive knowledge. Existing approaches typically face a trade-off between flexibility and integration: retrieval-augmented generation keeps knowledge outside the model but only provides prompt-level augmentation, whereas post-training based methods encode new knowledge into shared parameters but may introduce catastrophic forgetting, knowledge conflict, and costly updates. In this paper, we propose Decoupled Mixture-of-Experts (DMoE), a modular architecture for parametric knowledge injection that decouples both experts and the router from the base model. DMoE converts external knowledge corpora into independently updatable expert modules and uses a lightweight uncertainty-aware router to activate relevant experts only when the base model lacks sufficient knowledge during generation. To support efficient auto-regressive inference, DMoE attaches experts only to the final-layer feed-forward network, preserving KV-cache reuse while enabling parameter-level knowledge augmentation. Experiments on knowledge-intensive benchmarks show that DMoE consistently improves answer quality over retrieval and adapter-based baselines.