Instruction-tuned Language Models are Better Knowledge Learners

📄 arXiv: 2402.12847v2 📥 PDF

作者: Zhengbao Jiang, Zhiqing Sun, Weijia Shi, Pedro Rodriguez, Chunting Zhou, Graham Neubig, Xi Victoria Lin, Wen-tau Yih, Srinivasan Iyer

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-20 (更新: 2024-05-26)

备注: ACL 2024. The reproduced data for this paper is available at https://github.com/Edward-Sun/PIT

💡 一句话要点

提出预指令调优方法以提升知识学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识学习 指令调优 问答系统 机器学习

📋 核心要点

  1. 现有的LLM训练方法在回答复杂问题时表现不佳，尽管其在文档困惑度上有所优化。
  2. 论文提出的预指令调优方法在文档训练之前对问答对进行指令调优，以改善知识编码过程。
  3. 实验结果显示，预指令调优方法相比标准指令调优提升了17.8%的知识吸收能力。

📝 摘要（中文）

为了使基于大型语言模型（LLM）的助手能够有效适应不断变化的信息需求，必须通过对新数据的持续训练来更新其事实知识。现有的方法通常是先在新文档上进行持续预训练，然后在问答对上进行指令调优。然而，我们发现这种方法的LLM在回答问题时表现不佳，尽管文档的困惑度被最小化。我们假设在对复杂文档进行预训练之前，先让LLM接触问答对有助于其知识的编码。基于此，我们提出了预指令调优（PIT）方法，该方法在文档训练之前对问题进行指令调优。大量实验和消融研究表明，预指令调优显著提升了LLM从新文档中吸收知识的能力，超越了标准指令调优17.8%。

🔬 方法详解

问题定义：论文要解决的问题是现有的LLM在回答复杂问题时的能力不足，尤其是在使用标准指令调优方法后，尽管文档的困惑度降低，但知识吸收效果不理想。

核心思路：论文的核心解决思路是通过在对复杂文档进行训练之前，先对问答对进行指令调优，从而使模型在编码知识时考虑到如何通过问题访问这些知识。

技术框架：整体架构包括两个主要阶段：首先进行问答对的指令调优，然后在此基础上进行新文档的持续预训练。这样的设计旨在增强模型对复杂信息的理解和吸收能力。

关键创新：最重要的技术创新点在于提出了预指令调优（PIT）方法，这一方法与传统的指令调优方法本质上不同，后者是在文档训练后进行知识提取。

关键设计：在关键设计上，论文详细描述了训练过程中的参数设置、损失函数的选择以及网络结构的调整，以确保模型能够有效地从问答对中学习并转化为对复杂文档的理解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，预指令调优方法在知识吸收能力上超越了标准指令调优17.8%。这一显著提升证明了在复杂文档训练前进行问答对调优的有效性，为LLM的训练提供了新的思路和方向。

🎯 应用场景

该研究的潜在应用领域包括智能助手、在线教育平台和信息检索系统等。通过提升LLM的知识学习能力，能够更好地满足用户的动态信息需求，提供更准确的回答和建议，进而提升用户体验和满意度。未来，该方法可能会影响更多基于LLM的应用，推动智能系统的进一步发展。

📄 摘要（原文）

In order for large language model (LLM)-based assistants to effectively adapt to evolving information needs, it must be possible to update their factual knowledge through continued training on new data. The standard recipe for doing so involves continued pre-training on new documents followed by instruction-tuning on question-answer (QA) pairs. However, we find that LLMs trained with this recipe struggle to answer questions, even though the perplexity of documents is minimized. We found that QA pairs are generally straightforward, while documents are more complex, weaving many factual statements together in an intricate manner. Therefore, we hypothesize that it is beneficial to expose LLMs to QA pairs before continued pre-training on documents so that the process of encoding knowledge from complex documents takes into account how this knowledge is accessed through questions. Based on this, we propose pre-instruction-tuning (PIT), a method that instruction-tunes on questions prior to training on documents. This contrasts with standard instruction-tuning, which learns how to extract knowledge after training on documents. Extensive experiments and ablation studies demonstrate that pre-instruction-tuning significantly enhances the ability of LLMs to absorb knowledge from new documents, outperforming standard instruction-tuning by 17.8%.