Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation

📄 arXiv: 2402.11827v2 📥 PDF

作者: Chanwoong Yoon, Gangwoo Kim, Byeongguk Jeon, Sungdong Kim, Yohan Jo, Jaewoo Kang

分类: cs.IR, cs.CL

发布日期: 2024-02-19 (更新: 2025-06-16)

备注: NAACL 2025 (findings)

💡 一句话要点

提出RetPO框架以优化对话检索中的查询重写

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对话检索 查询重写 语言模型 检索优化 数据集构建 机器学习 信息检索

📋 核心要点

  1. 现有的重写-再检索方法在对话检索中无法充分利用检索结果信号，导致查询重写效果不佳。
  2. 本文提出RetPO框架，通过优化语言模型，使其生成符合检索器偏好的查询重写，从而提升检索效果。
  3. 实验结果显示，经过微调的模型在两个基准测试中超越了现有的最佳重写-再检索方法，展现出显著的性能提升。

📝 摘要（中文）

对话检索不同于单轮检索任务，它需要在对话上下文中理解当前问题。现有的重写-再检索方法往往无法充分利用检索结果信号，导致查询重写效果不佳。为了解决这一问题，本文提出了RetPO（Retriever's Preference Optimization）框架，旨在优化语言模型（LM），使其在重写搜索查询时符合目标检索系统的偏好。该过程首先通过大型语言模型生成多种潜在重写，并收集这些重写的检索性能作为检索器的偏好。我们构建了一个名为RF collection的大规模数据集，包含超过410K个查询重写的检索反馈，经过微调后，模型在两个基准测试中表现优越，超越了现有的重写-再检索方法的最佳性能。

🔬 方法详解

问题定义：本文旨在解决对话检索中查询重写的效果不佳问题，现有方法无法充分利用检索结果信号，导致重写查询的质量低下。

核心思路：提出RetPO框架，通过优化语言模型，使其生成符合目标检索系统偏好的查询重写，从而提升检索性能。该方法通过收集检索反馈来指导重写过程。

技术框架：整体流程包括使用大型语言模型生成多种查询重写，随后收集这些重写的检索性能，构建RF collection数据集，并对较小的语言模型进行微调以对齐检索器反馈。

关键创新：最重要的创新在于构建了RF collection数据集，包含超过410K个查询重写的反馈信息，且通过优化语言模型使其更好地符合检索器的偏好，显著提升了重写效果。

关键设计：在模型微调过程中，采用了特定的损失函数以最小化重写查询与检索器反馈之间的差异，同时确保模型能够生成多样化的查询重写以适应不同的对话场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过微调的模型在两个基准测试中表现优越，超越了现有的重写-再检索方法，具体性能提升幅度达到XX%（具体数值未知），展示了RetPO框架的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能客服、对话系统和信息检索等场景。通过优化查询重写，可以显著提升用户在对话检索中的体验和效率，未来可能推动更智能的对话系统的发展。

📄 摘要（原文）

Conversational search, unlike single-turn retrieval tasks, requires understanding the current question within a dialogue context. The common approach of rewrite-then-retrieve aims to decontextualize questions to be self-sufficient for off-the-shelf retrievers, but most existing methods produce sub-optimal query rewrites due to the limited ability to incorporate signals from the retrieval results. To overcome this limitation, we present a novel framework RetPO (Retriever's Preference Optimization), which is designed to optimize a language model (LM) for reformulating search queries in line with the preferences of the target retrieval systems. The process begins by prompting a large LM to produce various potential rewrites and then collects retrieval performance for these rewrites as the retrievers' preferences. Through the process, we construct a large-scale dataset called RF collection, containing Retrievers' Feedback on over 410K query rewrites across 12K conversations. Furthermore, we fine-tune a smaller LM on this dataset to align it with the retrievers' feedback. Our resulting model demonstrates superiority on two benchmarks, surpassing the previous state-of-the-art performance of rewrite-then-retrieve approaches.