CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval

📄 arXiv: 2405.15784v1 📥 PDF

作者: Yizhou Chi, Jessy Lin, Kevin Lin, Dan Klein

分类: cs.IR, cs.AI, cs.CL

发布日期: 2024-04-28

💡 一句话要点

提出CLARINET以解决信息检索中的模糊请求问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 信息检索 澄清问题 大型语言模型 用户意图 检索成功率 自然语言处理 机器学习

📋 核心要点

  1. 现有的信息检索系统在处理模糊查询时，难以将检索模型中的不确定性转化为自然语言问题。
  2. CLARINET通过增强大型语言模型，生成能够最大化真实候选项排名的澄清问题，从而提高检索的准确性。
  3. 在实际评估中，CLARINET系统在检索成功率上显著优于传统方法和普通提示的LLM，显示出其有效性。

📝 摘要（中文）

用户在信息检索中常常会提出模糊的请求，需要进一步的澄清。本文研究了在信息检索环境中如何提出澄清问题，以应对模糊的搜索查询。我们提出了CLARINET系统，通过选择能够最大化正确候选项确定性的澄清问题来进行信息检索。该方法通过增强大型语言模型（LLM）以条件化检索分布，进行端到端微调，从而生成能够在每个回合中最大化真实候选项排名的问题。在真实世界的用户搜索书籍的数据集上评估时，我们的系统在检索成功率上比传统启发式方法提高了17%，比普通提示的LLM提高了39%。

🔬 方法详解

问题定义：本文旨在解决信息检索中用户模糊请求导致的澄清问题。现有方法在将检索模型的不确定性转化为自然语言问题时存在困难，影响了检索效果。

核心思路：CLARINET的核心思路是通过增强大型语言模型，使其能够生成能够最大化真实候选项排名的澄清问题。这种设计旨在提高系统对用户意图的理解和响应能力。

技术框架：CLARINET的整体架构包括数据预处理、模型增强、端到端微调和问题生成四个主要模块。首先，对用户查询进行分析，然后利用增强的LLM生成澄清问题，最后通过微调优化模型性能。

关键创新：CLARINET的主要创新在于其通过条件化检索分布来生成澄清问题，与传统方法相比，能够更有效地减少检索过程中的不确定性。

关键设计：在模型设计中，采用了特定的损失函数来优化生成问题的质量，并通过微调策略提升模型在特定任务上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，CLARINET系统在真实用户搜索书籍的数据集上表现优异，检索成功率比传统启发式方法提高了17%，比普通提示的LLM提高了39%。这一结果表明，CLARINET在处理模糊查询时的有效性和优势。

🎯 应用场景

CLARINET的研究成果在多个领域具有潜在应用价值，尤其是在电子商务、在线图书馆和搜索引擎等需要处理用户模糊查询的场景中。通过提高系统的澄清能力，可以显著提升用户体验和检索效率，未来可能推动智能助手和对话系统的发展。

📄 摘要（原文）

Users often make ambiguous requests that require clarification. We study the problem of asking clarification questions in an information retrieval setting, where systems often face ambiguous search queries and it is challenging to turn the uncertainty in the retrieval model into a natural language question. We present CLARINET, a system that asks informative clarification questions by choosing questions whose answers would maximize certainty in the correct candidate. Our approach works by augmenting a large language model (LLM) to condition on a retrieval distribution, finetuning end-to-end to generate the question that would have maximized the rank of the true candidate at each turn. When evaluated on a real-world retrieval dataset of users searching for books, our system outperforms traditional heuristics such as information gain on retrieval success by 17% and vanilla-prompted LLMs by 39% relative.