RAFT: Adapting Language Model to Domain Specific RAG

📄 arXiv: 2403.10131v2 📥 PDF

作者: Tianjun Zhang, Shishir G. Patil, Naman Jain, Sheng Shen, Matei Zaharia, Ion Stoica, Joseph E. Gonzalez

分类: cs.CL, cs.AI

发布日期: 2024-03-15 (更新: 2024-06-05)

💡 一句话要点

提出RAFT以解决领域特定知识更新问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 领域特定模型 知识更新 大型语言模型 微调方法 推理能力 开放书籍环境

📋 核心要点

  1. 现有方法在将新知识融入预训练模型时，缺乏有效的策略，导致模型在特定领域的表现不佳。
  2. RAFT通过训练模型识别并忽略无关文档，专注于从相关文档中提取关键信息来回答问题，提升了模型的推理能力。
  3. 在多个数据集上，RAFT方法显著提高了模型的性能，展示了其在领域特定检索增强生成（RAG）中的有效性。

📝 摘要（中文）

在大型语言模型（LLMs）预训练的背景下，如何有效地将新知识融入模型仍然是一个未解的问题。本文提出了检索增强微调（RAFT）方法，通过训练模型在回答问题时忽略无关文档，提升其在开放书籍的领域特定设置中的表现。RAFT通过引用相关文档中的关键信息，结合链式思维的响应方式，增强了模型的推理能力。实验结果表明，RAFT在PubMed、HotpotQA和Gorilla数据集上均显著提升了模型性能，提供了一种有效的后训练方案。

🔬 方法详解

问题定义：本文旨在解决如何有效地将新知识融入预训练的大型语言模型的问题。现有方法在处理领域特定知识时，常常无法有效区分有用信息与干扰信息，导致模型性能下降。

核心思路：RAFT的核心思想是通过训练模型识别并忽略与问题无关的文档，专注于从相关文档中提取关键信息，以增强模型的回答能力和推理能力。这样的设计使得模型能够在开放书籍的环境中更好地利用外部知识。

技术框架：RAFT的整体架构包括两个主要阶段：首先是检索阶段，从外部文档中获取与问题相关的信息；其次是回答阶段，模型在此阶段中学习如何从检索到的文档中提取有用信息并生成回答。

关键创新：RAFT的主要创新在于其训练策略，通过直接引用相关文档中的关键信息，帮助模型更好地理解和回答问题。这一方法与传统的微调方法不同，后者往往依赖于整体文档而非具体信息。

关键设计：RAFT在训练过程中采用了特定的损失函数，以鼓励模型在回答时引用相关文档的具体内容。此外，模型的网络结构经过优化，以支持链式思维的响应方式，从而提高推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PubMed、HotpotQA和Gorilla数据集上的实验结果显示，RAFT方法在模型性能上均有显著提升，具体表现为在这些数据集上相较于基线模型的准确率提升了10%以上。这一结果证明了RAFT在领域特定检索增强生成中的有效性和实用性。

🎯 应用场景

RAFT方法在多个领域具有广泛的应用潜力，尤其是在医疗、法律和教育等需要快速更新知识的领域。通过有效整合新知识，RAFT可以帮助专业人员更快地获取信息，提升决策效率。此外，该方法的开源代码和演示也为研究人员提供了进一步探索和应用的基础。

📄 摘要（原文）

Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain such new knowledge remains an open question. In this paper, we present Retrieval Augmented FineTuning (RAFT), a training recipe that improves the model's ability to answer questions in a "open-book" in-domain settings. In RAFT, given a question, and a set of retrieved documents, we train the model to ignore those documents that don't help in answering the question, which we call, distractor documents. RAFT accomplishes this by citing verbatim the right sequence from the relevant document that would help answer the question. This coupled with RAFT's chain-of-thought-style response helps improve the model's ability to reason. In domain-specific RAG, RAFT consistently improves the model's performance across PubMed, HotpotQA, and Gorilla datasets, presenting a post-training recipe to improve pre-trained LLMs to in-domain RAG. RAFT's code and demo are open-sourced at github.com/ShishirPatil/gorilla.