When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search
作者: Yiling Tao, Shihan Deng, Meiling Tao, Pengzhi Wei, Zhichao Hu, Zhihao Zhu
分类: cs.CL
发布日期: 2026-06-26
备注: 26 pages, 7 figures, 12 tables
💡 一句话要点
提出DiscoBench以解决模糊搜索请求的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模糊性检测 深度搜索 用户交互 信息检索 大型语言模型
📋 核心要点
- 现有的搜索代理往往假设用户查询是明确的，忽视了模糊性对多步推理的影响。
- 本文提出DiscoBench基准，旨在评估搜索代理的模糊性识别和澄清能力。
- 实验表明，模糊性检测与有效澄清是不同的能力，直接询问澄清问题通常优于重复搜索。
📝 摘要（中文）
随着大型语言模型（LLMs）在复杂信息检索任务中的应用日益增加，现有基准往往假设用户查询是完整且明确的，忽视了现实中搜索请求常常模糊、不明确或甚至事实错误的情况。在深度搜索场景中，这种模糊性可能沿着多步推理链传播，导致代理走向错误的搜索轨迹。为了解决这一问题，本文提出了DiscoBench，一个针对模糊意识深度搜索的基准，旨在评估搜索代理是否能够主动识别模糊性、提出有效的澄清问题，并通过用户交互恢复正确的推理路径。DiscoBench包含211个样本和463个模糊实例，涵盖11个真实世界领域和四种模糊类型。我们还设计了一个用户模拟器用于多轮交互，并从任务效用、模糊性检测、交互策略和成本效率四个方面评估模型性能。
🔬 方法详解
问题定义：本文解决的是在深度搜索中，搜索代理如何处理模糊和不明确的用户查询的问题。现有方法往往未能有效应对这些模糊性，导致错误的搜索路径。
核心思路：论文的核心思路是通过引入DiscoBench基准，评估搜索代理在识别模糊性、提出澄清问题和恢复推理路径方面的能力。这样的设计旨在提升搜索代理的交互性和准确性。
技术框架：整体架构包括数据集构建、用户模拟器设计和多维度性能评估。数据集包含多种模糊性实例，用户模拟器用于模拟多轮交互。
关键创新：最重要的技术创新点在于引入了模糊性检测与澄清能力的区分，强调了交互式问题解决的重要性。这与现有方法的单一检索能力形成鲜明对比。
关键设计：在设计上，论文关注于模糊性类型的多样性，采用了多轮交互的用户模拟器，并在评估中引入了任务效用、模糊性检测等多维度指标。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模糊性检测和有效澄清是搜索代理的独立能力。与基线模型相比，直接询问澄清问题的性能提升显著，表明在处理模糊查询时，交互策略的选择至关重要。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、虚拟助手和信息检索系统等。通过提升搜索代理的交互能力和模糊性处理能力，可以显著提高用户体验和信息获取的准确性，未来可能对人机交互领域产生深远影响。
📄 摘要（原文）
Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.