DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks
作者: Jingxuan Han, Wei Liu, Mingyang Zhu, Youpeng Wang, Ziwen Wang, Lin Qiu, Xuezhi Cao, Xunliang Cai, Zheren Fu, Licheng Zhang, Zhendong Mao
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出DailyReport以评估搜索代理在日常搜索任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 搜索代理 评估基准 开放式任务 用户需求 可解释性
📋 核心要点
- 现有的搜索代理评估基准主要集中于专业任务，缺乏对真实用户日常搜索需求的覆盖。
- 本文提出DailyReport基准，包含150个开放式任务和3546个评分标准，旨在提高评估的可解释性和实用性。
- 实验结果表明，当前的搜索代理系统在满足用户期望方面仍存在不足，提供了未来改进的方向。
📝 摘要（中文）
搜索代理（SAs）通常利用大型语言模型（LLMs）支持复杂的信息检索任务，通过自主探索网络资源并综合信息生成全面的响应。现有评估基准主要集中于不太可能出现在真实用户场景中的专业任务，且对粗略的任务级评分的依赖限制了评估的可解释性。为了解决这一问题，本文提出了DailyReport，一个开放式基准，用于评估搜索代理在日常搜索任务中的能力。该基准包含150个开放式任务和3546个相关评分标准，捕捉了真实用户广泛讨论和及时的信息需求。每个任务被分解为子任务，并通过跨维度的级联评分进行评估。通过级联性能归因和以用户为中心的聚合，我们为每个维度得出了高度可解释的分数，以及用户偏好分数。我们的结果显示，当前系统仍未达到用户的期望。
🔬 方法详解
问题定义：本文旨在解决现有搜索代理评估基准对真实用户日常搜索任务覆盖不足的问题。现有方法主要集中于专业任务，缺乏对用户实际需求的反映，且评估可解释性较差。
核心思路：提出DailyReport基准，通过开放式任务和细化的评分标准，全面评估搜索代理在日常搜索任务中的表现。设计上强调任务的开放性和用户需求的多样性，以提高评估的实用性和可解释性。
技术框架：DailyReport基准包含150个开放式任务，每个任务被分解为多个子任务，并通过级联评分系统进行评估。评分系统涵盖多个维度，确保对每个任务的全面分析。
关键创新：最重要的创新在于引入了级联评分机制和用户偏好分数，使得评估结果不仅具有定量指标，还能反映用户的真实需求和偏好。这与现有方法的单一评分体系形成了鲜明对比。
关键设计：在评分标准的设计上，本文采用了3546个细化的评分标准，确保每个任务的多维度评估。此外，级联性能归因方法使得每个维度的得分具有高度可解释性，便于分析和改进。
🖼️ 关键图片
📊 实验亮点
实验结果显示，17个搜索代理系统在DailyReport基准上的表现仍未达到用户的期望，表明当前技术在满足真实用户需求方面存在显著不足。这为未来的研究和系统改进提供了明确的方向和依据。
🎯 应用场景
该研究的潜在应用领域包括搜索引擎优化、智能助手和信息检索系统等。通过提供更符合用户需求的评估基准，DailyReport可以帮助开发者改进搜索代理的性能，提升用户体验，推动相关技术的发展。未来，该基准可能成为评估搜索代理的行业标准，促进更广泛的研究和应用。
📄 摘要（原文）
Search Agents (SAs) typically leverage large language models (LLMs) to support complex information-seeking tasks by autonomously exploring web sources and synthesizing information into comprehensive responses. For SAs evaluation, prior benchmarks mainly focus on specialized tasks that are unlikely to arise in real-world user scenarios. Moreover, their reliance on coarse task-level rubrics often limits evaluation interpretability. To bridge this gap, we introduce DailyReport, an open-ended benchmark to evaluate SA capabilities on daily search tasks. It contains 150 open-ended tasks with 3,546 associated rubrics, capturing widely discussed and timely information demands of real-world users. Each task is decomposed into subtasks and evaluated with cascade rubrics across disentangled dimensions. Through cascade performance attribution and user-centric aggregation, we derive highly interpretable scores for each dimension, along with a user preference score. Our results on 17 agentic systems show that current systems still fall short of users' expectations. To facilitate future research, our dataset and code are made publicly available atthis https URL.