EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
作者: Yunhan Wang, Jiaan Wang, Lianzhe Huang, Xianfeng Zeng, Fandong Meng
分类: cs.CL
发布日期: 2026-06-11
备注: 14 pages, under review
💡 一句话要点
提出EvoBrowseComp以解决静态基准测试的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态基准测试 搜索代理 知识检索 自动化合成 信息过滤
📋 核心要点
- 现有基准测试如BrowseComp依赖静态知识，易受测试集污染和参数记忆影响，导致模型通过记忆而非真实推理获得高分。
- 提出EvoBrowseComp，利用三代理协作框架自动合成动态问题，确保问题的时效性和无污染性，提升评估的真实性。
- 实验结果表明，EvoBrowseComp具有较高的难度，要求广泛的搜索能力，建立了一个可扩展的高难度基准测试范式。
📝 摘要（中文）
搜索代理——增强了搜索工具的大型语言模型——对未来的评估基准提出了更高的要求。现有基准如BrowseComp依赖于静态知识，容易受到测试集污染和参数记忆的影响。因此，模型可能通过事实回忆而非真实检索获得高分，掩盖了真正的推理能力。本文提出了EvoBrowseComp，这是一个包含400个英文和400个中文无污染复杂问题的动态基准，问题通过实时网络遍历合成。我们设计了一个三代理协作框架，支持完全自动化合成，定期更新以防止数据污染并保持时效性。大量实验确认其高难度，要求广泛的横向搜索，建立了一个可扩展的高难度基准测试范式。
🔬 方法详解
问题定义：本文旨在解决现有基准测试依赖静态知识的问题，导致模型在评估时可能通过记忆而非真实检索获得高分，掩盖了其推理能力的真实水平。
核心思路：EvoBrowseComp通过设计一个三代理协作框架，自动合成实时问题，确保问题的时效性和无污染性，从而提升评估的真实性和有效性。
技术框架：该框架包括三个主要模块：QA合成代理负责从实时网络中检索新知识并合成问答对；信息过滤代理根据可信度和流行度过滤检索到的知识，阻止参数记忆的捷径；高层指导代理将问题形式化为推理图，以减少合成问答对中的逻辑冗余和捷径。
关键创新：EvoBrowseComp的核心创新在于其动态更新能力和无污染问题合成，区别于现有静态基准测试，能够适应不断变化的世界知识和代理能力的提升。
关键设计：框架支持完全自动化合成，定期更新以防止数据污染，确保问题的时效性。实验表明，该基准测试具有较高的难度，要求广泛的横向搜索能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，EvoBrowseComp在评估搜索代理的能力时具有显著的挑战性，要求广泛的横向搜索。与静态基准相比，EvoBrowseComp能够有效防止测试集污染，确保评估的真实性和有效性，为未来的研究提供了新的基准标准。
🎯 应用场景
EvoBrowseComp的潜在应用领域包括自然语言处理、信息检索和人工智能评估等。其动态更新的特性使其能够适应快速变化的知识环境，提升搜索代理的评估标准，推动相关技术的发展和应用。未来，该基准可能成为评估搜索代理能力的重要工具，促进更智能的搜索系统的研发。
📄 摘要（原文）
Search Agents -- large language models augmented with search tools -- have intensified the need for future-proof evaluation benchmarks. Existing benchmarks such as BrowseComp rely on static knowledge, making them vulnerable to test-set contamination and parametric memorization. Consequently, models can achieve high scores through fact recall rather than genuine retrieval, obscuring true browsing competence via reasoning shortcuts. In this paper, we introduce EvoBrowseComp, an evolving benchmark of 400 English and 400 Chinese contamination-free complex questions synthesized via live-web traversal. To collect these questions, we design a three-agent collaborative framework: (1) a QA synthesis agent that retrieves fresh knowledge from the live web to synthesize QA pairs; (2) an information filtering agent that filters retrieved knowledge in terms of credibility and popularity to block parametric shortcuts; and (3) a high-level guidance agent that formalizes questions into reasoning graphs to reduce logical redundancy and shortcuts in synthesized QA pairs. Because the framework supports fully automated synthesis, EvoBrowseComp can be regularly updated to prevent data contamination and maintain temporal freshness. Extensive experiments confirm its great difficulty, requiring broad horizontal search. It establishes a scalable paradigm for auto-updatable, high-difficulty benchmarking that keeps pace with both evolving world knowledge and advancing agent capabilities.