DKL: Decoupled Knowledge Learning for Instruction-Tuned Language Models

📄 arXiv: 2609.02685v1 📥 PDF

作者: Kushagra Bhushan, Meghanadh Pulivarthi, Sai Krishna Reddy Sathi, Gaurav Pandey, Sonam Gupta, Vineet Kumar, Jaydeep Sen, Yatin Nandwani, Sachindra Joshi, Dinesh Raghu

分类: cs.CL, cs.AI

发布日期: 2026-09-02

备注: 20 pages, 4 figures, 15 tables

💡 一句话要点

提出DKL以解决指令调优语言模型知识注入问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识注入 指令调优 语言模型 扩展预训练 模型合并 检索增强 机器学习

📋 核心要点

  1. 现有方法在将新知识融入指令跟随语言模型时，面临检索不准确导致的幻觉问题。
  2. DKL通过在基础LLM上进行扩展预训练，将新知识注入Instruct LLM，避免了昂贵的指令微调。
  3. 实验证明DKL在检索失败案例中将RAG准确率从54.17提升至79.26，且训练数据需求显著减少。

📝 摘要（中文）

RAG已成为将新知识融入指令跟随语言模型（Instruct LLM）的主要方法，但在检索不准确或不完整时会导致幻觉。现有的微调方法如RAFT和PA-RAG需要生成大量合成问答数据，而扩展预训练（EPT）虽然避免了这一需求，但会影响指令跟随能力。本文提出DKL（Decoupled Knowledge Learning），在基础LLM上进行EPT，将新知识注入到Instruct LLM中，而不影响其指令跟随能力。DKL是一种轻量级方法，避免了昂贵的指令微调，实验证明其在检索失败案例中将RAG准确率从54.17提升至79.26，且所需训练数据显著减少。

🔬 方法详解

问题定义：本文旨在解决在指令调优语言模型中注入新知识时，现有方法面临的检索不准确和微调成本高的问题。现有的RAG方法在检索失败时容易导致模型产生幻觉，而微调方法则需要大量合成数据，增加了实现难度。

核心思路：DKL的核心思路是在基础LLM上进行扩展预训练（EPT），而不是直接在Instruct LLM上进行。通过这种方式，新的知识可以被注入而不影响模型的指令跟随能力。

技术框架：DKL的整体架构包括两个主要阶段：首先在基础LLM上进行EPT以注入新知识，然后将这些知识注入的权重与Instruct LLM进行合并。此过程确保了知识的有效融合，同时保持了指令跟随能力。

关键创新：DKL的主要创新在于其轻量级设计，避免了传统方法中昂贵的指令微调过程。通过模型合并的方式，DKL实现了知识的有效注入，与现有方法相比，显著降低了训练数据的需求。

关键设计：在DKL中，关键的参数设置包括基础LLM的选择和EPT的训练策略，损失函数设计上则注重于保持指令跟随能力的同时有效注入新知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DKL在检索失败的情况下将RAG的准确率从54.17提升至79.26，表现出显著的性能提升。同时，DKL在训练数据需求上也大幅减少，相较于以往方法具有更高的效率。

🎯 应用场景

DKL的研究成果在多个领域具有潜在应用价值，包括智能助手、自动问答系统和教育技术等。通过有效地将新知识融入语言模型，DKL可以提升模型在特定领域的表现，满足用户对准确性和实时性的需求，推动智能系统的进一步发展。

📄 摘要（原文）

RAG has become the de facto method for incorporating new, corpus-specific knowledge into an instruction following LLM (Instruct LLM). Although RAG-based prompting improves factual grounding, it fails when retrieval is incorrect or incomplete, leading to hallucinations. Finetuning methods such as RAFT and PA-RAG enhance RAG by injecting new knowledge into the model's parameters, but require generating a massive amount of synthetic QA that covers the entire corpus. Extended Pre-Training (EPT) on the text corpus avoids the need for comprehensive synthetic data generation but compromises an Instruct LLM's instruction-following capabilities, necessitating instruction fine-tuning (IFT) after pre-training. However, IFT is costly and may be infeasible due to the unavailability of an instruction-tuning corpus. In this work, we propose DKL-Decoupled Knowledge Learning for Instruction-Tuned Language Models. Instead of doing EPT on the Instruct LLM, DKL performs EPT on its corresponding base LLM to infuse new knowledge. These knowledge infused weights are then merged with the Instruct LLM, imparting new knowledge without affecting their instruction-following capabilities. DKL is a lightweight method that avoids expensive instruction fine-tuning and relies on model merging to infuse the new knowledge into the Instruct LLM without destroying its instruction following capabilities. Empirical results show that DKL improves RAG accuracy from 54.17 to 79.26 on retrieval failure cases, while outperforming prior approaches with substantially less training data.