DEPT: Document Embedding Preservation Tuning for Unified Query Expansion and Retrieval

📄 arXiv: 2608.17632v1 📥 PDF

作者: Jingyuan Wang, Richong Zhang, Zhijie Nie, Mingxin Li, Yanzhao Zhang

分类: cs.IR, cs.AI

发布日期: 2026-08-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出DEPT以解决文档嵌入保持与查询扩展问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档嵌入 查询扩展 信息检索 大型语言模型 深度学习 在线负样本挖掘 模型训练

📋 核心要点

  1. 现有方法通常依赖于提示扩展或独立训练模块，导致生成的查询扩展与检索目标之间的对齐不够紧密。
  2. 本文提出文档嵌入保持调优（DEPT），通过训练单一的解码器LLM实现查询扩展与文档编码的统一。
  3. 实验结果显示，DEPT在多个基准数据集上显著提升了检索质量，优于现有的训练-free和独立训练方法。

📝 摘要（中文）

大型语言模型（LLMs）能够扩展不明确的查询并将文本编码为密集表示，表明可以为查询扩展和检索构建统一模型。现有系统通常依赖于提示扩展、独立训练模块或分阶段优化，导致生成的扩展与检索损失之间的对齐仅是间接的。本文训练了一个单一的解码器LLM，模型同时生成扩展并编码扩展查询和候选文档。该统一设置引入了一个动态目标问题：检索监督应改善查询侧扩展，但同样的更新也会改变作为检索目标的文档嵌入。我们提出了文档嵌入保持调优（DEPT），该方法在允许检索梯度通过直通解码进入生成器的同时，保持调优后的文档嵌入接近缓存的初始嵌入。DEPT将联合查询-文档移动转换为针对近似稳定的、经过白化的文档嵌入的查询侧适应，支持索引重用和在线困难负样本挖掘。实验结果表明，DEPT在五个BEIR基准数据集上相较于无训练、独立训练和分阶段统一基线显著提高了平均检索质量。

🔬 方法详解

问题定义：本文旨在解决现有查询扩展与文档检索之间的对齐不足问题。现有方法往往依赖于提示或独立模块，导致生成的扩展与检索目标的关系不够紧密。

核心思路：提出文档嵌入保持调优（DEPT），通过训练一个单一的解码器LLM，使其同时生成查询扩展和编码文档，从而实现查询与文档之间的紧密结合。

技术框架：整体架构包括一个解码器LLM，负责生成扩展查询并编码候选文档。DEPT通过保持文档嵌入接近初始状态，确保检索目标的稳定性，同时允许检索梯度影响查询扩展。

关键创新：DEPT的核心创新在于将查询扩展与文档嵌入的训练过程结合，解决了动态目标问题，使得查询扩展能够在检索监督下得到有效优化。

关键设计：在设计中，DEPT采用了直通解码机制，允许检索梯度通过，同时使用白化技术来保持文档嵌入的稳定性，支持索引重用和在线负样本挖掘。具体的损失函数和参数设置在实验中进行了详细调优。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在五个BEIR基准数据集上的实验结果表明，DEPT在平均检索质量上显著优于无训练、独立训练和分阶段统一基线，具体提升幅度达到了X%（具体数据待补充）。

🎯 应用场景

该研究的潜在应用领域包括信息检索、问答系统和推荐系统等。通过提高查询扩展与文档检索的对齐程度，DEPT能够显著提升用户查询的准确性和相关性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Large language models (LLMs) can both expand underspecified queries and encode text as dense representations, suggesting a unified model for query expansion and retrieval. Existing systems usually rely on prompted expansions, independently trained modules, or staged optimization, leaving generated expansions only indirectly aligned with the retrieval loss that judges them. We train a single decoder-only LLM end to end, where the same model generates the expansion and encodes both the expanded query and candidate documents. This unified setting creates a moving-target problem: retrieval supervision should improve query-side expansion, but the same update also shifts the document embeddings that serve as retrieval targets. We introduce Document Embedding Preservation Tuning (DEPT), which keeps tuned document embeddings close to cached initial embeddings while allowing retrieval gradients to pass through straight-through decoding into the generator. DEPT converts joint query--document movement into query-side adaptation against approximately stable, whitened document embeddings that support index reuse and online hard-negative mining. Experiments with Qwen3-4B-Instruct-2507 and LLaMA-3.2-3B-Instruct on five datasets in BEIR benchmark show that DEPT improves average retrieval quality over training-free, independently trained, and staged unified baselines, while ablations isolate the effects of preservation, whitening, end-to-end expansion training, and online negatives. Code is available at https://github.com/ILSparkle/DEPT.