Revisiting Word Embeddings in the LLM Era

📄 arXiv: 2402.11094v3 📥 PDF

作者: Yash Mahajan, Matthew Freestone, Naman Bansal, Sathyanarayanan Aakur, Shubhra Kanti Karmaker Santu

分类: cs.CL

发布日期: 2024-02-16 (更新: 2025-03-01)

备注: This is an updated version of the older version: arXiv:2402.11094. We accidentally submitted this article as a new submission (arXiv:2502.19607), which we have requested to withdraw. This version has 30 pages and 22 figures

💡 一句话要点

系统比较LLM与传统词嵌入模型的性能差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 词嵌入 自然语言处理 语义聚类 上下文建模

📋 核心要点

  1. 现有方法在LLM生成的嵌入与传统模型的性能差异上缺乏系统性比较，导致对其有效性的理解不够深入。
  2. 论文通过对比经典的去上下文和上下文词嵌入与LLM生成的嵌入，探讨其性能差异及原因。
  3. 实验结果显示，LLM在去上下文设置中表现优越，但在上下文设置中，经典模型如SimCSE表现更佳，强调了其重要性。

📝 摘要（中文）

大型语言模型（LLMs）在各种自然语言处理任务中展现了显著的进步。近期，研究者们从这些解码器模型中提取词/句子/文档嵌入，并在多种推理任务中取得了良好效果。然而，LLM生成的嵌入性能提升是否仅因规模，或其底层嵌入与传统编码模型（如Word2Vec、GloVe、Sentence-BERT和Universal Sentence Encoder）有显著差异，仍不明确。本文通过系统比较经典的去上下文和上下文词嵌入与LLM生成的嵌入，探讨这一核心问题。结果表明，LLM在去上下文设置中能更紧密地聚类语义相关词，并在类比任务中表现更佳，但在上下文设置中，经典模型如SimCSE在句子相似性评估任务中常常优于LLM，显示其在细粒度语义上的持续相关性。

🔬 方法详解

问题定义：本文旨在解决LLM生成的嵌入与传统词嵌入模型（如Word2Vec、GloVe等）在性能上的差异性问题。现有研究未能系统比较这些模型的有效性，导致对LLM嵌入的理解存在局限。

核心思路：通过系统比较不同类型的词嵌入，分析LLM生成的嵌入是否在语义聚类和类比任务中表现优于传统模型，揭示其潜在优势和局限性。

技术框架：研究采用实验对比的方法，分别在去上下文和上下文设置下评估LLM与传统模型的嵌入表现，主要模块包括数据集准备、嵌入生成、性能评估和结果分析。

关键创新：论文的创新点在于系统性地比较了LLM生成的嵌入与经典模型的性能差异，揭示了LLM在某些任务中的优势与传统模型在细粒度语义任务中的持续相关性。

关键设计：在实验设计中，采用了标准的性能评估指标，设置了多种超参数以确保对比的公平性，并使用了多种数据集以验证结果的普适性。实验中还特别关注了模型在不同上下文设置下的表现差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM在去上下文设置中能够更紧密地聚类语义相关词，并在类比任务中表现更佳，然而在上下文设置中，经典模型SimCSE在句子相似性评估任务中表现优于LLM，强调了传统模型在细粒度语义任务中的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和语义分析等。通过深入理解LLM与传统模型的性能差异，研究者可以更有效地选择合适的嵌入模型以满足特定任务需求，提升模型的实际应用效果。未来，该研究可能推动更高效的嵌入生成技术的发展。

📄 摘要（原文）

Large Language Models (LLMs) have recently shown remarkable advancement in various NLP tasks. As such, a popular trend has emerged lately where NLP researchers extract word/sentence/document embeddings from these large decoder-only models and use them for various inference tasks with promising results. However, it is still unclear whether the performance improvement of LLM-induced embeddings is merely because of scale or whether underlying embeddings they produce significantly differ from classical encoding models like Word2Vec, GloVe, Sentence-BERT (SBERT) or Universal Sentence Encoder (USE). This is the central question we investigate in the paper by systematically comparing classical decontextualized and contextualized word embeddings with the same for LLM-induced embeddings. Our results show that LLMs cluster semantically related words more tightly and perform better on analogy tasks in decontextualized settings. However, in contextualized settings, classical models like SimCSE often outperform LLMs in sentence-level similarity assessment tasks, highlighting their continued relevance for fine-grained semantics.