LongSearchEval: Evaluating Long-Horizon Web Search Capabilities of Large Language Models via a Trajectory-Aware Agent Framework with Failure-Node Localization
作者: Jialiang Liu, Shusheng Li, Wenjun Tan
分类: cs.AI
发布日期: 2026-10-26
💡 一句话要点
提出LONGSEARCHEVAL框架以评估长时间网页搜索能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长时间搜索 大语言模型 智能体评估 轨迹感知 错误定位
📋 核心要点
- 现有评估方法主要依赖模拟轨迹或后验重建，限制了行为评估的真实性和错误定位的精确性。
- 本文提出LONGSEARCHEVAL框架，通过轨迹感知的方式，结合执行协议和结果验证，提升评估的准确性。
- 在100个任务上评估16个模型，获得94.50%的标签一致性和98.11%的特征对应精度，验证了方法的有效性。
📝 摘要（中文）
长时间网页搜索要求基于大语言模型的智能体在特定任务约束下，通过扩展交互整合网页信息。评估这一能力不仅对最终答案质量至关重要，还能判断智能体在长时间交互中是否可靠地获取、验证和使用证据。然而，现有评估主要依赖于模拟轨迹或从最终答案重建的后验轨迹，限制了行为评估的真实性，并削弱了对细粒度错误定位的支持。为了解决这一问题，本文提出了LONGSEARCHEVAL，一个结合统一智能体执行协议、源约束结果验证和回顾性失败节点定位的轨迹感知评估框架。我们在100个任务上评估了来自八个家族的16个模型，获得了1,600个保留运行和6,545个自动标记的失败节点。
🔬 方法详解
问题定义：本文旨在解决现有评估方法在长时间网页搜索中对智能体行为的真实性和错误定位能力不足的问题。现有方法多依赖模拟或重建的轨迹，无法真实反映智能体的交互过程。
核心思路：LONGSEARCHEVAL框架通过引入轨迹感知的评估方式，结合统一的智能体执行协议和源约束结果验证，确保评估过程的真实性和可靠性。
技术框架：该框架分为两个主要阶段：第一阶段验证智能体引用的网页与答案组的匹配，第二阶段审计标准化回合并将标记的失败节点链接到错误答案组。
关键创新：最重要的创新在于引入了回顾性失败节点定位机制，使得评估不仅关注最终结果，还能追踪智能体在交互过程中的具体行为和错误来源。
关键设计：在实验中，轨迹收集和评估分别耗时1,037小时和318小时，确保了数据的充分性和评估的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LONGSEARCHEVAL框架在100个任务上评估了16个模型，获得94.50%的标签一致性和98.11%的特征对应精度，显著提升了对智能体行为的评估能力和错误定位的准确性。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、虚拟助手和信息检索系统等。通过提升长时间交互的评估能力，可以显著提高智能体在复杂任务中的表现和用户体验，推动相关技术的进一步发展。
📄 摘要（原文）
Long-horizon web search requires LLM-based agents to integrate information across web pages through extended interactions under task-specific constraints. Evaluating this capability is important not only for measuring final answer quality, but also for assessing whether an agent acquires, verifies, and uses evidence reliably over extended interactions. Existing evaluations, however, mainly rely on simulated trajectories or on post-hoc trajectories reconstructed from final answers, rather than on retained real interaction traces, which limits the fidelity of behavioral assessment and weakens support for fine-grained error localization. To address this gap, we introduce LONGSEARCHEVAL, a trajectory-aware agent evaluation framework that combines a unified agent execution protocol with source constrained outcome verification and retrospective failure-node localization. Stage 1 verifies answer groups against agent-cited webpages without human-authored gold answers; Stage 2 audits normalized rounds and links flagged failure nodes to incorrect answer groups. We evaluate 16 models from eight families on 100 tasks, yielding 1,600 retained runs and 6,545 automatically flagged failure nodes. Trajectory collection and evaluation required 1,037 and 318 hours of cumulative runtime, respectively. Human validation yields 94.50% agreement on supplied answer-group labels and 98.11% feature-correspondence precision for audited round-group links. Together, outcome scores and linked trajectory evidence support controlled model comparison and retrospective inspection of answer-related content.