Corpus-Steered Query Expansion with Large Language Models

📄 arXiv: 2402.18031v1 📥 PDF

作者: Yibin Lei, Yu Cao, Tianyi Zhou, Tao Shen, Andrew Yates

分类: cs.IR, cs.CL

发布日期: 2024-02-28

备注: EACL 2024 (Short)

💡 一句话要点

提出基于语料的查询扩展方法以提升信息检索效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询扩展 信息检索 大型语言模型 伪相关反馈 语料引导 相关性评估 自然语言处理

📋 核心要点

  1. 现有方法在查询扩展中存在扩展与检索语料不匹配的问题，导致信息检索效果不佳。
  2. 本文提出语料引导的查询扩展（CSQE），通过利用LLMs的相关性评估能力来识别关键句子，从而增强查询扩展的质量。
  3. 实验结果显示，CSQE在无需训练的情况下，尤其在LLMs知识不足的查询上，显著提升了信息检索的相关性预测能力。

📝 摘要（中文）

近期研究表明，利用大型语言模型（LLMs）生成的查询扩展可以显著提升信息检索系统的性能。然而，由于扩展与检索语料之间的错位，可能导致幻觉和过时信息等问题。受伪相关反馈（PRF）启发，本文提出了语料引导的查询扩展（CSQE），旨在促进语料中嵌入知识的整合。CSQE利用LLMs的相关性评估能力，系统性地识别初步检索文档中的关键句子，并将这些语料来源的文本与LLM知识驱动的扩展结合使用，从而改善查询与目标文档之间的相关性预测。大量实验表明，CSQE在无需任何训练的情况下表现出色，尤其在LLMs缺乏知识的查询中。

🔬 方法详解

问题定义：本文旨在解决大型语言模型生成的查询扩展与检索语料之间的错位问题，现有方法常常导致幻觉和过时信息的出现。

核心思路：通过引入语料引导的查询扩展（CSQE），利用LLMs的相关性评估能力识别初步检索文档中的关键句子，从而增强查询扩展的相关性和准确性。

技术框架：CSQE的整体架构包括两个主要模块：首先，使用LLMs评估初步检索文档的相关性；其次，结合识别出的关键句子与LLM生成的扩展文本，形成最终的查询扩展。

关键创新：CSQE的创新在于将语料中的知识有效整合到查询扩展中，克服了传统方法中对LLMs知识的依赖，显著提高了扩展的相关性。

关键设计：在设计中，CSQE不需要额外的训练过程，直接利用LLMs的能力进行相关性评估，并通过系统性的方法识别文档中的关键句子，确保扩展的质量和准确性。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CSQE在多个基准数据集上表现优异，尤其在LLMs知识不足的情况下，相关性预测能力提升显著，具体性能数据未提供，但整体提升幅度明显，展示了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括搜索引擎、问答系统和信息检索等。通过提升查询扩展的质量，CSQE可以显著改善用户的检索体验，帮助用户更快速地找到所需信息，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent studies demonstrate that query expansions generated by large language models (LLMs) can considerably enhance information retrieval systems by generating hypothetical documents that answer the queries as expansions. However, challenges arise from misalignments between the expansions and the retrieval corpus, resulting in issues like hallucinations and outdated information due to the limited intrinsic knowledge of LLMs. Inspired by Pseudo Relevance Feedback (PRF), we introduce Corpus-Steered Query Expansion (CSQE) to promote the incorporation of knowledge embedded within the corpus. CSQE utilizes the relevance assessing capability of LLMs to systematically identify pivotal sentences in the initially-retrieved documents. These corpus-originated texts are subsequently used to expand the query together with LLM-knowledge empowered expansions, improving the relevance prediction between the query and the target documents. Extensive experiments reveal that CSQE exhibits strong performance without necessitating any training, especially with queries for which LLMs lack knowledge.