VisSearch-Bench: Evaluating Long Horizon Visual Search in Multimodal Agents
作者: ZhengXian Wu, Qianhao Nie, Zhuohong Chen, Junjie Gao, Yuyao Zhang, Yunyao Yu, Hangrui Xu, Cheng Cheng, Guiyu Ma, Jin Zhang, Xingzhong Xu, Kai Yang, Haoqian Wang
分类: cs.CV, cs.AI
发布日期: 2026-11-03
备注: 41 pages, 22 figures
💡 一句话要点
提出VisSearch-Bench以评估多模态智能体的长时视觉搜索能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 视觉搜索 上下文管理 任务评估 信息连接
📋 核心要点
- 现有的多模态智能体在处理视觉搜索任务时，往往依赖文本检索，导致信息连接不足。
- 本文提出VisSearch-Bench，通过204个任务评估智能体在视觉上下文管理中的能力，强调视觉信息的组织与使用。
- 实验表明，尽管使用搜索工具，最佳模型仅解决26.47%的任务，显示出当前方法的局限性。
📝 摘要（中文）
多模态智能体利用网络和图像工具回答超出其内部知识的问题。然而，现有的搜索任务主要依赖文本检索，缺乏对智能体如何在图像、物体和搜索步骤之间连接信息的深入理解。为此，本文聚焦于视觉上下文管理，提出了VisSearch-Bench，涵盖204个人工编写的任务，涉及7个主要领域和25个子领域，旨在评估智能体在视觉搜索中的表现。实验结果显示，最佳系统仅能完全解决26.47%的任务，突显了将视觉证据与搜索结果结合以生成完整答案的挑战。
🔬 方法详解
问题定义：本文旨在解决多模态智能体在长时视觉搜索中如何有效管理和连接视觉信息的问题。现有方法在处理视觉证据与搜索结果的整合时存在显著不足，导致任务完成率低。
核心思路：论文的核心思路是通过构建VisSearch-Bench，系统化地评估智能体在视觉上下文管理中的表现，强调视觉信息与其他发现的关联性。
技术框架：整体架构包括任务设计、评估指标和模型测试三个主要模块。任务设计涵盖多种视觉搜索类型，评估指标包括任务成功率和过程评分。
关键创新：最重要的技术创新在于引入了多样化的任务类型和评估标准，使得对智能体在视觉搜索中的表现有了更全面的理解，与现有方法相比，提供了更细致的评估机制。
关键设计：任务设计中包含204个任务，涉及7个主要领域，提供参考答案和可追溯证据。评估中使用的准确性和过程评分分别衡量任务成功率和结果的正确性与完整性。实验中对16个多模态模型进行测试，确保了评估的全面性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳的多模态模型在使用搜索工具的情况下，仅能完全解决26.47%的任务。这一数据突显了当前技术在视觉证据与搜索结果结合方面的挑战，为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括智能搜索引擎、智能助手和机器人导航等。通过提升多模态智能体在视觉搜索中的表现，能够更好地满足用户在复杂信息环境中的需求，未来可能推动相关技术的广泛应用与发展。
📄 摘要（原文）
Multimodal agents use web and image tools to answer questions beyond their internal knowledge. Some search tasks use images mainly to identify an initial entity, then rely on text retrieval. These tasks offer limited insight into how agents connect information across images, objects, and search steps. We therefore focus on visual context management. This involves organizing and using visual information and linking it to other findings during search. Visually intensive tasks require agents to combine object appearance, local details, or spatial relations with external information. We introduce VisSearch-Bench, with 204 human-written tasks across 7 main domains and 25 subdomains. It covers Set-wise Visual Search, Sequential Visual Search, Hybrid Wide-Deep Search, Competitive Visual Disambiguation, and Visual-Structure-Guided Search. Each task provides a reference answer, traceable evidence, and scoring rules. Accuracy measures complete task success, while Process Score measures the correctness and completeness of individual results and subquestion answers. Across 16 multimodal models, the best system fully solves only 26.47% of tasks, even with search tools. These results highlight the challenge of linking visual evidence with search results to produce complete answers.