DailyReport: An Open-ended Benchmark for Evaluating Search Agents on Daily Search Tasks
作者: Jingxuan Han, Wei Liu, Mingyang Zhu, Youpeng Wang, Ziwen Wang, Lin Qiu, Xuezhi Cao, Xunliang Cai, Zheren Fu, Licheng Zhang, Zhendong Mao
分类: cs.AI
发布日期: 2026-06-11
🔗 代码/项目: GITHUB
💡 一句话要点
提出DailyReport基准以评估搜索代理在日常搜索任务中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 搜索代理 信息检索 评估基准 用户体验 大型语言模型
📋 核心要点
- 现有的搜索代理评估基准主要集中于专业任务，缺乏对日常搜索任务的有效评估，限制了其在真实场景中的应用。
- 本文提出DailyReport基准，通过150个开放式任务和3546个评分标准，全面评估搜索代理在日常信息检索中的能力。
- 实验结果显示，17个代理系统的表现仍未达到用户的期望，强调了该基准在推动未来研究中的重要性。
📝 摘要（中文）
搜索代理（SAs）通常利用大型语言模型（LLMs）支持复杂的信息检索任务，通过自主探索网络资源并综合信息生成全面的响应。然而，现有的评估基准主要集中于专业任务，这些任务在真实用户场景中不太可能出现。此外，现有方法对任务级别的粗略评分标准限制了评估的可解释性。为了解决这一问题，本文提出了DailyReport，一个开放式基准，用于评估搜索代理在日常搜索任务中的能力。该基准包含150个开放式任务和3546个相关评分标准，捕捉了真实用户广泛讨论和及时的信息需求。每个任务被分解为子任务，并通过跨解耦维度的级联评分进行评估。通过级联性能归因和以用户为中心的聚合，我们为每个维度得出了高度可解释的评分及用户偏好评分。实验结果表明，当前系统仍未达到用户的期望。
🔬 方法详解
问题定义：本文旨在解决现有搜索代理评估基准过于专注于专业任务的问题，这使得其在真实用户场景中的适用性受到限制。现有方法的评分标准往往过于粗略，缺乏可解释性。
核心思路：提出DailyReport基准，通过开放式任务和细化的评分标准，全面评估搜索代理在日常搜索任务中的表现，增强评估的可解释性和实用性。
技术框架：DailyReport基准包含150个开放式任务，每个任务被分解为多个子任务，并通过级联评分系统进行评估。评分系统涵盖多个维度，确保评估的全面性。
关键创新：最重要的创新在于引入了级联评分机制和用户偏好评分，使得评估结果更加可解释，并能够反映用户真实的需求和期望。
关键设计：在设计过程中，任务的分解和评分标准的制定是关键，确保每个子任务都能被准确评估，同时采用了用户中心的聚合方法来提升评分的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，17个搜索代理系统在DailyReport基准上的表现普遍未能达到用户的期望，强调了当前技术的不足之处。这一发现为未来的研究和系统改进提供了重要的方向。
🎯 应用场景
该研究的潜在应用领域包括搜索引擎优化、智能助手开发和信息检索系统的评估。通过提供一个全面的评估基准，DailyReport能够帮助研究人员和开发者更好地理解和改进搜索代理的性能，从而提升用户体验和满意度。
📄 摘要（原文）
Search Agents (SAs) typically leverage large language models (LLMs) to support complex information-seeking tasks by autonomously exploring web sources and synthesizing information into comprehensive responses. For SAs evaluation, prior benchmarks mainly focus on specialized tasks that are unlikely to arise in real-world user scenarios. Moreover, their reliance on coarse task-level rubrics often limits evaluation interpretability. To bridge this gap, we introduce DailyReport, an open-ended benchmark to evaluate SA capabilities on daily search tasks. It contains 150 open-ended tasks with 3,546 associated rubrics, capturing widely discussed and timely information demands of real-world users. Each task is decomposed into subtasks and evaluated with cascade rubrics across disentangled dimensions. Through cascade performance attribution and user-centric aggregation, we derive highly interpretable scores for each dimension, along with a user preference score. Our results on 17 agentic systems show that current systems still fall short of users' expectations. To facilitate future research, our dataset and code are made publicly available at https://github.com/AGI-Eval-Official/DailyReport.