Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning

📄 arXiv: 2404.00213v2 📥 PDF

作者: Nick Mecklenburg, Yiyou Lin, Xiaoxiao Li, Daniel Holstein, Leonardo Nunes, Sara Malvar, Bruno Silva, Ranveer Chandra, Vijay Aski, Pavan Kumar Reddy Yannam, Tolga Aktas, Todd Hendry

分类: cs.CL

发布日期: 2024-03-30 (更新: 2024-04-02)

备注: 16 pages; 7 figures. updated authors list

💡 一句话要点

通过监督微调注入新知识以提升大型语言模型的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识注入 监督微调 数据集生成 领域适应 问答系统 体育事件

📋 核心要点

  1. 现有大型语言模型在适应新领域知识时面临挑战，尤其是知识截止日期后的事实和事件。
  2. 论文提出通过监督微调（SFT）方法注入新知识，特别是针对近期体育事件的领域进行研究。
  3. 实验结果显示，基于事实的扩展方法在问答任务中显著提升了模型对新知识的覆盖和准确性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在生成类人文本方面表现出色，成为各种应用中的重要资产。然而，将这些模型适应于新领域知识，尤其是模型知识截止日期后发生的事实和事件，仍然是一个挑战。本文探讨了监督微调（SFT）作为LLMs知识注入的方法，特别关注近期体育事件的领域。我们比较了不同的数据集生成策略——基于token的扩展和基于事实的扩展，以创建帮助模型学习新信息的训练数据。实验结果表明，基于token的扩展在问答准确性上有所提升，但可能无法均匀覆盖新知识；而基于事实的扩展则提供了更系统的方法，确保所有事实的均匀覆盖。我们的研究为LLMs的领域适应提供了新的理解，并强调了SFT在增强特定知识领域LLM响应的事实性方面的潜力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在知识截止后如何有效适应新领域知识的问题。现有方法在新知识的覆盖和准确性上存在不足。

核心思路：论文提出通过监督微调（SFT）来注入新知识，特别是采用基于事实的扩展策略，以确保模型对新信息的全面学习。

技术框架：整体流程包括数据集生成、模型训练和评估三个主要模块。数据集生成阶段采用不同策略创建训练数据，随后进行模型的微调和性能评估。

关键创新：最重要的技术创新在于提出了一种新的数据集生成过程，特别是基于事实的扩展方法，确保了新知识的均匀覆盖，这与传统的基于token的扩展方法形成鲜明对比。

关键设计：在模型训练中，采用特定的损失函数和参数设置，以优化模型对新知识的学习效果，确保在问答任务中能够准确反映新信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于事实的扩展方法在问答任务中显著提升了模型的准确性，相较于基于token的扩展，覆盖率更均匀，提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括新闻生成、体育评论、教育辅助等，能够帮助大型语言模型更好地适应快速变化的信息环境。通过有效的知识注入，模型的实际价值将得到显著提升，未来可能在多个行业中发挥重要作用。

📄 摘要（原文）

In recent years, Large Language Models (LLMs) have shown remarkable performance in generating human-like text, proving to be a valuable asset across various applications. However, adapting these models to incorporate new, out-of-domain knowledge remains a challenge, particularly for facts and events that occur after the model's knowledge cutoff date. This paper investigates the effectiveness of Supervised Fine-Tuning (SFT) as a method for knowledge injection in LLMs, specifically focusing on the domain of recent sporting events. We compare different dataset generation strategies -- token-based and fact-based scaling -- to create training data that helps the model learn new information. Our experiments on GPT-4 demonstrate that while token-based scaling can lead to improvements in Q&A accuracy, it may not provide uniform coverage of new knowledge. Fact-based scaling, on the other hand, offers a more systematic approach to ensure even coverage across all facts. We present a novel dataset generation process that leads to more effective knowledge ingestion through SFT, and our results show considerable performance improvements in Q&A tasks related to out-of-domain knowledge. This study contributes to the understanding of domain adaptation for LLMs and highlights the potential of SFT in enhancing the factuality of LLM responses in specific knowledge domains.