Generative Representational Instruction Tuning

📄 arXiv: 2402.09906v3 📥 PDF

作者: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-15 (更新: 2025-03-03)

备注: 67 pages (16 main), 25 figures, 34 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出生成表征指令调优方法以解决文本生成与嵌入任务的统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生成模型 文本嵌入 指令调优 自然语言处理 检索增强生成

📋 核心要点

  1. 现有模型在生成和嵌入任务中只能表现良好之一，无法兼顾两者的需求。
  2. 提出生成表征指令调优（GRIT），通过指令使模型能够同时处理生成和嵌入任务。
  3. GritLM 7B在MTEB上设定新标杆，GritLM 8x7B在生成任务中超越所有开放模型，且提升检索效率超过60%。

📝 摘要（中文）

所有基于文本的语言问题都可以归结为生成或嵌入任务。目前的模型在这两者中只能表现良好之一。我们提出了生成表征指令调优（GRIT），通过指令使大型语言模型能够处理生成和嵌入任务。与其他开放模型相比，我们的GritLM 7B在大规模文本嵌入基准（MTEB）上设定了新的最优状态，并在一系列生成任务中超越了所有同类模型。进一步扩展后，GritLM 8x7B在我们测试的所有开放生成语言模型中表现最佳，同时仍然是最优秀的嵌入模型之一。值得注意的是，GRIT在仅使用生成或嵌入数据的训练中表现相当，因此我们可以在不损失性能的情况下统一这两者。通过GRIT的统一，检索增强生成（RAG）在处理长文档时速度提升超过60%。

🔬 方法详解

问题定义：当前的文本生成和嵌入模型通常只能专注于其中一种任务，导致在处理多样化语言问题时的灵活性不足。现有方法无法有效地统一这两种任务，造成了资源浪费和性能瓶颈。

核心思路：本研究提出生成表征指令调优（GRIT），通过指令的方式使得大型语言模型能够同时处理生成和嵌入任务。通过这种方式，模型能够根据任务类型灵活调整其行为，从而实现更高的效率和准确性。

技术框架：GRIT的整体架构包括一个大型语言模型，模型通过指令接收任务信息，并在生成和嵌入任务之间进行切换。主要模块包括指令解析模块、生成模块和嵌入模块，确保模型能够高效地处理不同类型的输入。

关键创新：GRIT的核心创新在于其能够在不损失性能的情况下，将生成和嵌入任务统一在同一模型中。这一设计使得模型在处理长文档时，检索和生成过程不再需要分开进行，从而显著提高了效率。

关键设计：在模型设计中，采用了特定的损失函数来平衡生成和嵌入任务的训练，同时在网络结构上进行了优化，以支持指令的灵活解析和执行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GritLM 7B在MTEB上设定了新的最优状态，GritLM 8x7B在所有测试的开放生成语言模型中表现最佳。此外，GRIT通过统一模型架构，使得检索增强生成的速度提升超过60%，显著提高了长文档处理的效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、信息检索和内容生成等。通过统一生成与嵌入任务，GRIT能够显著提升模型在多种语言任务中的表现，具有广泛的实际价值和未来影响，尤其是在需要快速响应和高效处理的场景中。

📄 摘要（原文）

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.