The Embedder's Dilemma: LLMs Are Better, but at What Cost?

📄 arXiv: 2608.12875v1 📥 PDF

作者: Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee

分类: cs.CL

发布日期: 2026-08-13

备注: Accepted to COLM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出大语言模型与嵌入模型的成本效益比较以优化文本处理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 文本嵌入 模型选择 自然语言处理 信息检索 性能评估 成本效益

📋 核心要点

  1. 现有的文本处理方法在不同任务中表现不均，尤其是在成本和性能之间的权衡上存在挑战。
  2. 本文通过对比分析，提出在相似性、分类和聚类任务中使用嵌入模型，而在推理密集型检索中使用LLM的分工策略。
  3. 实验结果显示，最佳LLM与最佳嵌入模型的性能差异仅为0.4分，但LLM的使用成本显著更高，且处理速度较慢。

📝 摘要（中文）

本文探讨是否应将文本嵌入管道替换为大语言模型（LLM），通过对十种LLM和26种嵌入模型在37个任务上的控制性比较，得出两者在整体性能上基本持平。尽管LLM在推理密集型检索任务中表现优越，而嵌入模型在分类任务中更具优势，但LLM的使用成本高达嵌入模型的1431倍。研究结果建议在相似性、分类和聚类任务中使用嵌入模型，而将LLM保留用于推理密集型检索。相关代码和数据集已公开。

🔬 方法详解

问题定义：本文旨在解决在文本处理任务中，如何有效选择大语言模型与嵌入模型的问题。现有方法在性能和成本之间的平衡尚不明确，尤其是在不同任务中的表现差异。

核心思路：通过对十种LLM和26种嵌入模型在多种任务上的系统比较，提出了一种基于任务类型的模型选择策略，以优化性能和成本。

技术框架：研究采用了控制性实验设计，涵盖了分类、语义文本相似性、聚类、对分类和检索等37个任务，评估了模型的性能和成本。

关键创新：最重要的创新在于提出了在不同任务中使用不同模型的分工策略，明确了LLM与嵌入模型的优势和劣势，帮助研究者和工程师做出更明智的选择。

关键设计：在实验中，使用了多种参数设置和损失函数，确保了对模型性能的全面评估，特别关注推理令牌在LLM推理成本中的占比，以及如何通过调整推理预算来优化检索质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳LLM（Gemini 3.1 Pro）在推理密集型检索任务中表现优越，得分为77.6，而最佳嵌入模型得分为77.2，二者差异仅为0.4分。然而，LLM的使用成本高达嵌入模型的1431倍，处理速度也显著较慢，表明在选择模型时需考虑成本与性能的平衡。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和机器学习模型选择等。通过明确不同模型在特定任务中的优势，研究者和开发者可以在实际应用中更有效地配置资源，从而提高系统的整体性能和经济性。未来，该研究可能推动更广泛的模型选择标准化，促进文本处理技术的进一步发展。

📄 摘要（原文）

Should you replace your text-embedding pipeline with a large language model? We answer this with a controlled, cost-aware comparison of ten LLMs across six families and 26 embedding models (118M to 14B parameters) on 37 tasks spanning classification, semantic textual similarity (STS), clustering, pair classification, and retrieval. In aggregate the two paradigms are effectively tied: the best LLM (Gemini 3.1 Pro, 77.6) and the best embedding model (77.2) differ by 0.4 points. Their strengths differ by task: LLMs lead on reasoning-heavy retrieval, embedding models lead on classification, and the two match on clustering, STS, and pair classification. Reaching that parity is expensive. An LLM costs up to 1,431x more than an embedding model of comparable quality (USD 154 vs. USD 0.11 per benchmark pass), and the open LLMs tested process tokens 2.5 to 736x more slowly on the same GPU. Reasoning tokens account for 28 to 81% of LLM inference cost; lower reasoning budgets preserve or improve retrieval quality for most models in our ablation. The Pareto frontier contains the leading embedding models and one LLM, Gemini 3.1 Pro. These results support a division of labour: use embedding models for similarity, classification, and clustering, and reserve LLMs for reasoning-intensive retrieval. Our code, datasets, and results are publicly available at https://github.com/embeddings-benchmark/embedders-dilemma.