Can Query Expansion Improve Generalization of Strong Cross-Encoder Rankers?

📄 arXiv: 2311.09175v2 📥 PDF

作者: Minghan Li, Honglei Zhuang, Kai Hui, Zhen Qin, Jimmy Lin, Rolf Jagerman, Xuanhui Wang, Michael Bendersky

分类: cs.IR, cs.AI

发布日期: 2023-11-15 (更新: 2024-04-30)

DOI: 10.1145/3626772.3657979

💡 一句话要点

提出查询扩展方法以提升强跨编码排序器的泛化能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 查询扩展 跨编码排序 信息检索 深度学习 自然语言处理 模型泛化 关键词生成

📋 核心要点

  1. 现有的查询扩展技术对强跨编码排序器的影响尚不明确，可能导致性能下降。
  2. 论文提出通过关键词生成和查询修改的优化，结合提示工程和动态结果融合来提升排序器的泛化能力。
  3. 实验结果显示，MonoT5和RankT5在BEIR和TREC Deep Learning 2019/2020数据集上的nDCG@10得分均有所提升。

📝 摘要（中文）

查询扩展已广泛应用于提升第一阶段检索器的搜索结果，但对第二阶段跨编码排序器的影响尚未深入探讨。Weller等人的研究表明，现有的扩展技术对较弱模型如DPR和BM25有益，但对强排序器如MonoT5则有害。本文重新审视这一结论，探讨查询扩展是否能改善强跨编码排序器的泛化能力。通过实验，我们发现高质量关键词生成和最小干扰的查询修改是关键步骤，并提出通过提示工程和动态融合扩展查询的排名结果来提升强神经排序器的泛化能力。实验结果表明，MonoT5和RankT5的nDCG@10得分均有所提升，指明了查询扩展在强跨编码排序器中的应用方向。

🔬 方法详解

问题定义：本文旨在探讨查询扩展对强跨编码排序器的影响，现有方法在应用查询扩展时可能导致性能下降，尤其是在零样本情况下。

核心思路：通过优化关键词生成和查询修改过程，结合提示工程和动态融合扩展查询的排名结果，提升强排序器的泛化能力。

技术框架：整体流程包括使用指令跟随的语言模型生成高质量关键词，随后对扩展查询的排名结果进行动态融合，利用自一致性和互惠排名加权来优化最终结果。

关键创新：通过引入提示工程和动态结果融合，成功改善了强跨编码排序器的性能，这与传统方法在处理弱模型时的策略形成鲜明对比。

关键设计：在关键词生成中采用推理链，确保生成的关键词具有高质量；在结果融合中，使用自一致性和互惠排名加权策略，以最小化对原始查询的干扰。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，在BEIR和TREC Deep Learning 2019/2020数据集上，MonoT5和RankT5的nDCG@10得分均显著提升，表明所提出的方法有效改善了强跨编码排序器的性能，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括信息检索、推荐系统和自然语言处理等。通过提升强跨编码排序器的泛化能力，可以在更复杂的查询场景中获得更准确的搜索结果，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Query expansion has been widely used to improve the search results of first-stage retrievers, yet its influence on second-stage, cross-encoder rankers remains under-explored. A recent work of Weller et al. [44] shows that current expansion techniques benefit weaker models such as DPR and BM25 but harm stronger rankers such as MonoT5. In this paper, we re-examine this conclusion and raise the following question: Can query expansion improve generalization of strong cross-encoder rankers? To answer this question, we first apply popular query expansion methods to state-of-the-art cross-encoder rankers and verify the deteriorated zero-shot performance. We identify two vital steps for cross-encoders in the experiment: high-quality keyword generation and minimal-disruptive query modification. We show that it is possible to improve the generalization of a strong neural ranker, by prompt engineering and aggregating the ranking results of each expanded query via fusion. Specifically, we first call an instruction-following language model to generate keywords through a reasoning chain. Leveraging self-consistency and reciprocal rank weighting, we further combine the ranking results of each expanded query dynamically. Experiments on BEIR and TREC Deep Learning 2019/2020 show that the nDCG@10 scores of both MonoT5 and RankT5 following these steps are improved, which points out a direction for applying query expansion to strong cross-encoder rankers.