Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs

📄 arXiv: 2312.05934v3 📥 PDF

作者: Oded Ovadia, Menachem Brief, Moshik Mishaeli, Oren Elisha

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-12-10 (更新: 2024-01-30)

💡 一句话要点

对比微调与检索增强生成，探究知识注入大语言模型的有效方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 知识注入 无监督微调 检索增强生成 知识密集型任务

📋 核心要点

  1. 现有LLM知识受限于训练数据，如何有效注入新知识或提升已有知识能力是挑战。
  2. 论文对比无监督微调和检索增强生成（RAG）两种知识注入方法，分析其优劣。
  3. 实验表明，RAG在现有知识和新知识注入方面均优于无监督微调，后者学习新知识困难。

📝 摘要（中文）

大型语言模型（LLMs）在其预训练权重中封装了大量的 factual 信息，这体现在它们能够回答不同领域的多样化问题。然而，这种知识本质上是有限的，并且严重依赖于训练数据的特征。因此，使用外部数据集来整合新信息或改进LLMs在先前遇到信息上的能力，构成了一个重大的挑战。在本研究中，我们比较了两种常见的方法：无监督微调和检索增强生成（RAG）。我们评估了这两种方法在不同主题的各种知识密集型任务上的表现。我们的研究结果表明，虽然无监督微调提供了一些改进，但RAG始终优于它，无论是在训练期间遇到的现有知识还是全新的知识方面。此外，我们发现LLMs很难通过无监督微调来学习新的factual信息，并且在训练期间让它们接触同一事实的多种变体可以缓解这个问题。

🔬 方法详解

问题定义：论文旨在解决如何更有效地将外部知识注入到大型语言模型（LLMs）中的问题。现有方法，特别是依赖于模型预训练的知识，存在知识范围有限、难以更新以及对特定领域知识掌握不足的痛点。无监督微调作为一种常见的知识注入方法，其效果并不理想，尤其是在学习全新知识方面表现较差。

核心思路：论文的核心思路是通过对比无监督微调和检索增强生成（RAG）两种不同的知识注入方法，来评估它们在不同知识场景下的性能。RAG的核心思想是在生成答案之前，先从外部知识库中检索相关信息，然后将检索到的信息作为上下文提供给LLM，从而增强LLM的知识储备和生成能力。

技术框架：论文的技术框架主要包括两个部分：无监督微调和检索增强生成。对于无监督微调，直接使用外部知识数据集对预训练的LLM进行微调。对于RAG，首先构建一个外部知识库，然后使用检索模型（如基于向量相似度的检索）从知识库中检索与问题相关的文档，最后将检索到的文档和问题一起输入到LLM中，生成答案。

关键创新：论文的关键创新在于对无监督微调和RAG两种知识注入方法进行了系统的对比评估，并揭示了它们在不同知识场景下的优劣。研究表明，RAG在知识注入方面具有更强的适应性和有效性，尤其是在处理全新知识时。此外，论文还发现，LLMs通过无监督微调学习新知识的能力有限，但可以通过暴露于同一事实的多种变体来缓解这个问题。

关键设计：论文的关键设计包括：1) 选择了多种知识密集型任务作为评估基准，涵盖不同主题和知识类型；2) 采用了无监督微调作为一种基线方法，并与RAG进行对比；3) 详细描述了RAG的实现细节，包括知识库的构建、检索模型的选择和LLM的配置；4) 分析了不同因素对知识注入效果的影响，如训练数据的多样性和检索模型的性能。

📊 实验亮点

实验结果表明，RAG在知识密集型任务上始终优于无监督微调，尤其是在处理全新知识时。具体而言，RAG在多个数据集上取得了显著的性能提升，证明了其在知识注入方面的有效性。此外，研究还发现，LLMs通过无监督微调学习新知识的能力有限，但可以通过暴露于同一事实的多种变体来缓解这个问题。

🎯 应用场景

该研究成果可应用于问答系统、智能客服、知识图谱构建等领域。通过RAG方法，可以使LLM具备更强的知识获取和推理能力，从而提升其在实际应用中的性能。未来，该研究可以进一步探索更有效的知识检索和融合方法，以及如何利用RAG来解决更复杂的知识密集型任务。

📄 摘要（原文）

Large language models (LLMs) encapsulate a vast amount of factual information within their pre-trained weights, as evidenced by their ability to answer diverse questions across different domains. However, this knowledge is inherently limited, relying heavily on the characteristics of the training data. Consequently, using external datasets to incorporate new information or refine the capabilities of LLMs on previously seen information poses a significant challenge. In this study, we compare two common approaches: unsupervised fine-tuning and retrieval-augmented generation (RAG). We evaluate both approaches on a variety of knowledge-intensive tasks across different topics. Our findings reveal that while unsupervised fine-tuning offers some improvement, RAG consistently outperforms it, both for existing knowledge encountered during training and entirely new knowledge. Moreover, we find that LLMs struggle to learn new factual information through unsupervised fine-tuning, and that exposing them to numerous variations of the same fact during training could alleviate this problem.