Gecko: Versatile Text Embeddings Distilled from Large Language Models

📄 arXiv: 2403.20327v1 📥 PDF

作者: Jinhyuk Lee, Zhuyun Dai, Xiaoqi Ren, Blair Chen, Daniel Cer, Jeremy R. Cole, Kai Hui, Michael Boratko, Rajvi Kapadia, Wen Ding, Yi Luan, Sai Meher Karthik Duddu, Gustavo Hernandez Abrego, Weiqiang Shi, Nithi Gupta, Aditya Kusupati, Prateek Jain, Siddhartha Reddy Jonnalagadda, Ming-Wei Chang, Iftekhar Naim

分类: cs.CL, cs.AI

发布日期: 2024-03-29

备注: 18 pages

💡 一句话要点

提出Gecko以解决文本嵌入模型的高效性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本嵌入 蒸馏训练 信息检索 自然语言处理 模型压缩

📋 核心要点

  1. 现有文本嵌入模型在高效性和性能上存在不足，尤其是在处理大规模数据时。
  2. Gecko通过从大型语言模型中蒸馏知识，采用两步蒸馏过程生成高质量的文本嵌入。
  3. 在MTEB基准测试中，Gecko以256维嵌入超越所有768维嵌入模型，显示出显著的性能提升。

📝 摘要（中文）

我们提出了Gecko，一个紧凑且多功能的文本嵌入模型。Gecko通过从大型语言模型（LLMs）中提取知识来实现强大的检索性能。我们的两步蒸馏过程首先使用LLM生成多样的合成配对数据，接着通过检索每个查询的一组候选段落来进一步提高数据质量，并使用相同的LLM重新标记正样本和难负样本。Gecko在大规模文本嵌入基准（MTEB）上表现出色，256维嵌入的Gecko超越了所有768维嵌入的现有模型，而768维的Gecko平均得分为66.31，能够与7倍大的模型和5倍高维的嵌入竞争。

🔬 方法详解

问题定义：本论文旨在解决现有文本嵌入模型在高效性和性能上的不足，尤其是在大规模数据检索任务中的表现。现有方法往往需要较大的模型和高维嵌入，导致计算资源消耗高。

核心思路：Gecko的核心思路是通过从大型语言模型中提取知识，采用两步蒸馏过程生成高质量的文本嵌入。这种设计旨在提高嵌入模型的紧凑性和检索性能。

技术框架：Gecko的整体架构包括两个主要阶段：第一阶段使用LLM生成多样的合成配对数据，第二阶段通过检索候选段落并重新标记样本来提高数据质量。

关键创新：Gecko的主要创新在于其两步蒸馏过程，通过生成合成数据和优化样本标记，显著提升了嵌入模型的性能和效率。这与传统方法相比，减少了对大规模标注数据的依赖。

关键设计：在参数设置上，Gecko采用了256维和768维的嵌入，使用特定的损失函数来优化样本的正负标记，确保模型在检索任务中的有效性。

📊 实验亮点

Gecko在MTEB基准测试中表现优异，256维嵌入的Gecko超越了所有768维嵌入的现有模型，768维的Gecko平均得分达到66.31，能够与7倍大的模型和5倍高维的嵌入竞争，展示了显著的性能提升。

🎯 应用场景

Gecko的研究成果可广泛应用于信息检索、自然语言处理和推荐系统等领域。其高效的文本嵌入能力能够帮助企业和研究机构在处理大规模文本数据时，显著提高检索速度和准确性，具有重要的实际价值和潜在影响。

📄 摘要（原文）

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.