DREAM: Dense Retrieval Embeddings via Autoregressive Modeling

📄 arXiv: 2606.24667v1 📥 PDF

作者: Yixuan Tang, Yi Yang

分类: cs.CL

发布日期: 2026-06-23

💡 一句话要点

提出DREAM以解决密集检索嵌入模型训练中的监督问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 密集检索 自回归建模 语言模型 信息检索 对比学习 模型训练 相似度评分

📋 核心要点

  1. 现有的密集检索模型通常依赖于对比学习，需要大量标记的正负样本，获取成本高且困难。
  2. DREAM通过将检索器生成的相似度分数注入到语言模型的注意力机制中，利用自回归模型的预测能力进行训练。
  3. 在BEIR和RTEB基准上，DREAM在不同参数规模的模型中均表现出优于现有方法的性能，验证了其有效性。

📝 摘要（中文）

密集检索嵌入模型是现代检索型AI系统的基础组件。大多数密集检索器使用对比目标进行训练，这需要标记的正负文档对，获取这些对通常成本高且困难。本文探讨了大型语言模型的自回归下一个标记预测目标是否可以为密集检索提供监督。我们提出DREAM（通过自回归建模的密集检索嵌入），将检索器生成的查询-文档相似度分数注入到冻结的语言模型的选定注意力头中。实验结果表明，DREAM在不同模型规模下均优于现有基线，展示了通过自回归建模训练密集检索器的有效性。

🔬 方法详解

问题定义：本文旨在解决密集检索嵌入模型训练中的监督问题，现有方法依赖于昂贵的标记样本，限制了其应用。

核心思路：DREAM利用大型语言模型的自回归下一个标记预测能力，通过将检索器生成的相似度分数注入到模型的注意力机制中，来提供训练信号。

技术框架：DREAM的整体架构包括一个冻结的语言模型和一个独立的检索器，检索器生成的相似度分数影响语言模型在预测目标输出时对候选文档的注意力分配。

关键创新：DREAM的创新在于将检索器的相似度分数与自回归语言模型结合，形成了一种新的训练机制，这与传统的对比学习方法本质上不同。

关键设计：在训练过程中，选择性地将相似度分数注入到语言模型的注意力头中，损失函数通过语言模型的预测损失来反向传播，从而为检索器提供梯度信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在BEIR和RTEB基准测试中，DREAM在不同参数规模的模型上均表现出色，超越了现有的基线方法，展示了显著的性能提升，尤其是在较大模型（3B参数）上，提升幅度明显，验证了其有效性。

🎯 应用场景

DREAM的研究成果在信息检索、推荐系统和自然语言处理等领域具有广泛的应用潜力。通过降低对标记样本的依赖，DREAM可以加速密集检索模型的训练过程，提高检索系统的效率和准确性，推动相关技术的进步。

📄 摘要（原文）

Dense retrieval embedding models are a fundamental component of modern retrieval-based AI systems. Most dense retrievers are trained with contrastive objectives, which require labeled positive and negative document pairs that are often costly and difficult to obtain. In this work, we investigate whether the autoregressive next-token prediction objective of a large language model (LLM) can provide supervision for dense retrieval. The intuition is simple: if a document contains information relevant to a query, conditioning on that document should make the target output easier for the LLM to predict. A key challenge is that the next-token prediction loss is computed inside the LLM, while the retriever is a separate embedding model. To address this challenge, we propose DREAM (Dense Retrieval Embeddings via Autoregressive Modeling), which injects retriever-generated query-document similarity scores into selected attention heads of a frozen LLM. During training, these scores determine how much attention each candidate document receives while the LLM predicts the target output. The resulting prediction loss provides gradients for retriever training through the attention mechanism. We evaluate DREAM on retrieval benchmarks BEIR and RTEB using embedding backbones ranging from 0.5B to 3B parameters. DREAM consistently outperforms existing baselines across different model scales. These results demonstrate that DREAM provides a promising approach for training dense retrievers through autoregressive modeling.