LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders

📄 arXiv: 2404.05961v2 📥 PDF

作者: Parishad BehnamGhader, Vaibhav Adlakha, Marius Mosbach, Dzmitry Bahdanau, Nicolas Chapados, Siva Reddy

分类: cs.CL, cs.AI

发布日期: 2024-04-09 (更新: 2024-08-21)

备注: Accepted to COLM 2024

💡 一句话要点

提出LLM2Vec以提升解码器模型的文本编码能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本嵌入 无监督学习 对比学习 自然语言处理 解码器模型

📋 核心要点

  1. 现有的解码器语言模型在文本嵌入任务中的应用较少，缺乏丰富的上下文表示能力。
  2. LLM2Vec通过启用双向注意力、掩蔽预测和无监督对比学习，将解码器模型转化为强大的文本编码器。
  3. 实验结果表明，LLM2Vec在词汇级任务上显著超越了编码器模型，并在MTEB上达到了新的无监督最优性能。

📝 摘要（中文）

大型解码器语言模型（LLMs）在当今大多数自然语言处理任务中表现出色，但在文本嵌入任务中的应用仍较为缓慢。本文提出LLM2Vec，一种简单的无监督方法，可将任何解码器模型转变为强大的文本编码器。LLM2Vec包括三个步骤：启用双向注意力、掩蔽下一个标记预测和无监督对比学习。我们在四个参数从13亿到80亿的流行LLM上验证了LLM2Vec的有效性，并在英语词汇和序列级任务上评估了转化后的模型。结果显示，在词汇级任务上超越了编码器模型，并在大规模文本嵌入基准（MTEB）上达到了新的无监督最优性能。结合有监督对比学习后，我们在仅使用公开数据的模型中实现了MTEB的最优表现。

🔬 方法详解

问题定义：当前大型解码器语言模型在文本嵌入任务中的应用受到限制，主要因为它们缺乏丰富的上下文表示能力，导致性能不佳。

核心思路：LLM2Vec的核心思路是通过启用双向注意力机制和掩蔽预测，结合无监督对比学习，来增强解码器模型的文本编码能力。这样的设计使得模型能够更好地理解上下文信息，从而生成更具表现力的文本嵌入。

技术框架：LLM2Vec的整体架构包括三个主要步骤：1) 启用双向注意力以捕捉上下文信息；2) 进行掩蔽下一个标记预测以增强模型的生成能力；3) 采用无监督对比学习来优化文本表示。

关键创新：LLM2Vec的主要创新在于将解码器模型转化为文本编码器的能力，尤其是在不需要昂贵的适配或合成数据的情况下，显著提升了模型的文本表示能力。

关键设计：在设计中，LLM2Vec采用了特定的损失函数来优化对比学习过程，并在模型参数设置上进行了精细调整，以确保在不同规模的LLM上均能有效应用。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LLM2Vec在词汇级任务上显著超越了传统的编码器模型，且在MTEB基准上达到了新的无监督最优性能。此外，结合有监督对比学习后，LLM2Vec在仅使用公开数据的模型中实现了MTEB的最优表现，展示了其强大的实用性和有效性。

🎯 应用场景

LLM2Vec的研究成果在多个领域具有广泛的应用潜力，包括文本分类、信息检索和对话系统等。通过提升解码器模型的文本编码能力，LLM2Vec能够为自然语言处理任务提供更高质量的文本表示，从而推动相关技术的发展和应用。未来，随着更多领域对文本嵌入的需求增加，LLM2Vec的影响力将进一步扩大。

📄 摘要（原文）

Large decoder-only language models (LLMs) are the state-of-the-art models on most of today's NLP tasks and benchmarks. Yet, the community is only slowly adopting these models for text embedding tasks, which require rich contextualized representations. In this work, we introduce LLM2Vec, a simple unsupervised approach that can transform any decoder-only LLM into a strong text encoder. LLM2Vec consists of three simple steps: 1) enabling bidirectional attention, 2) masked next token prediction, and 3) unsupervised contrastive learning. We demonstrate the effectiveness of LLM2Vec by applying it to 4 popular LLMs ranging from 1.3B to 8B parameters and evaluate the transformed models on English word- and sequence-level tasks. We outperform encoder-only models by a large margin on word-level tasks and reach a new unsupervised state-of-the-art performance on the Massive Text Embeddings Benchmark (MTEB). Moreover, when combining LLM2Vec with supervised contrastive learning, we achieve state-of-the-art performance on MTEB among models that train only on publicly available data (as of May 24, 2024). Our strong empirical results and extensive analysis demonstrate that LLMs can be effectively transformed into universal text encoders in a parameter-efficient manner without the need for expensive adaptation or synthetic GPT-4 generated data.