EvoBrowseComp: Benchmarking Search Agents on Evolving Knowledge
作者: Yunhan Wang, Jiaan Wang, Lianzhe Huang, Xianfeng Zeng, Fandong Meng
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出EvoBrowseComp以解决静态基准测试的局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态基准测试 搜索代理 知识检索 自动合成 信息过滤
📋 核心要点
- 现有的基准测试如BrowseComp依赖静态知识，容易受到测试集污染和参数记忆的影响，导致评估结果不准确。
- 本文提出EvoBrowseComp，通过三代理协作框架自动合成复杂问题，确保问题的时效性和逻辑严谨性。
- 实验结果显示EvoBrowseComp具有较高的难度，要求广泛的横向搜索，建立了一个可扩展的高难度基准测试范式。
📝 摘要（中文）
搜索代理（即增强了搜索工具的大型语言模型）对未来可持续评估基准的需求日益增加。现有基准如BrowseComp依赖静态知识，易受测试集污染和参数记忆的影响，导致模型通过事实回忆而非真实检索获得高分，掩盖了真正的浏览能力。本文提出EvoBrowseComp，这是一个包含400个英文和400个中文无污染复杂问题的动态基准，通过实时网络遍历合成。我们设计了一个三代理协作框架，分别为QA合成代理、信息过滤代理和高层指导代理，以确保问题的时效性和逻辑严谨性。EvoBrowseComp的自动合成能力使其能够定期更新，防止数据污染，保持时效性。实验结果表明，该基准具有较高的难度，要求广泛的横向搜索，建立了一个可扩展的高难度基准测试范式。
🔬 方法详解
问题定义：本文旨在解决现有基准测试在动态知识环境中的局限性，尤其是静态知识导致的测试集污染和参数记忆问题。
核心思路：通过设计一个三代理协作框架，自动合成复杂问题，确保问题的时效性和逻辑严谨性，从而提高评估的真实性和有效性。
技术框架：整体架构包括三个主要模块：QA合成代理负责从实时网络中检索新知识并合成QA对；信息过滤代理根据可信度和流行度过滤知识，阻止参数记忆；高层指导代理将问题形式化为推理图，减少逻辑冗余。
关键创新：EvoBrowseComp的关键创新在于其动态更新能力和自动合成机制，能够持续提供高难度、无污染的问题，与现有静态基准测试形成鲜明对比。
关键设计：在设计中，QA合成代理使用实时网络数据，信息过滤代理设定了可信度和流行度的阈值，高层指导代理则采用推理图形式化问题，确保合成问题的逻辑性和复杂性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，EvoBrowseComp的难度显著高于现有基准，要求模型进行广泛的横向搜索，提升了模型在复杂问题上的表现。具体性能数据尚未披露，但实验确认了其在动态知识环境下的有效性和挑战性。
🎯 应用场景
EvoBrowseComp可广泛应用于搜索代理的性能评估、人工智能模型的训练与测试等领域，具有重要的实际价值。随着知识的不断演变，该基准能够帮助研究者和开发者更好地理解和提升模型的检索与推理能力，推动人工智能技术的进步。
📄 摘要（原文）
Search Agents -- large language models augmented with search tools -- have intensified the need for future-proof evaluation benchmarks. Existing benchmarks such as BrowseComp rely on static knowledge, making them vulnerable to test-set contamination and parametric memorization. Consequently, models can achieve high scores through fact recall rather than genuine retrieval, obscuring true browsing competence via reasoning shortcuts.In this paper, we introduce EvoBrowseComp, an evolving benchmark of 400 English and 400 Chinese contamination-free complex questions synthesized via live-web traversal. To collect these questions, we design a three-agent collaborative framework: (1) a QA synthesis agent that retrieves fresh knowledge from the live web to synthesize QA pairs; (2) an information filtering agent that filters retrieved knowledge in terms of credibility and popularity to block parametric shortcuts; and (3) a high-level guidance agent that formalizes questions into reasoning graphs to reduce logical redundancy and shortcuts in synthesized QA pairs. Because the framework supports fully automated synthesis, EvoBrowseComp can be regularly updated to prevent data contamination and maintain temporal freshness. Extensive experiments confirm its great difficulty, requiring broad horizontal search. It establishes a scalable paradigm for auto-updatable, high-difficulty benchmarking that keeps pace with both evolving world knowledge and advancing agent capabilities.