SimpleSearch-VL: A Simple Recipe for Multimodal Agentic Deep Search

📄 arXiv: 2606.31504v1 📥 PDF

作者: Ming Dai, Zhihong Lu, Jinjie Gu, Jiedong Zhuang, Yefeng Liu, Wankou Yang, Jian Wang, Chunhua Shen

分类: cs.CV

发布日期: 2026-06-30

备注: Technical Report

💡 一句话要点

提出SimpleSearch-VL以提升多模态智能搜索效率与可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态搜索 智能体 因子自适应回滚 证据验证 信息检索 机器学习 深度学习

📋 核心要点

  1. 现有方法在多模态搜索中面临效率低下和可靠性不足的挑战，尤其是在处理复杂信息时。
  2. 论文提出的SimpleSearch-VL通过优化智能体的搜索与验证过程，提升了搜索效率和结果的可靠性。
  3. 实验结果显示，SimpleSearch-VL在多个基准测试中显著提升了性能，尤其是在与Qwen3-VL的对比中，平均提升超过15个点。

📝 摘要（中文）

我们提出了SimpleSearch-VL，这是一个高效、可靠且实用的多模态智能搜索框架。其核心思想在于改善智能体自身的搜索与验证过程，而非单纯扩展数据、工具或辅助模型组件。为提高效率，采用因子自适应回滚（FAR）方法，通过形成更具信息量的训练组来改善采样效率，同时利用冗余样本来缓解长尾延迟并暴露难样本。为确保可靠性，SimpleSearch-VL执行证据验证推理，明确使用思维链验证来评估检索到的视觉和文本线索与原始上下文的相关性。为增强实用性，SimpleSearch-VL保持轻量级工具接口，并在智能体内部执行网页自我摘要，无需额外的外部依赖。通过仅使用5000条监督工具交错轨迹和2000条强化学习数据，SimpleSearch-VL在8B和30B-A3B变体上分别提升了Qwen3-VL智能基线15.8和16.0个平均点，SimpleSearch-VL-30B-A3B模型的性能更是与智能体Gemini-3-Pro相当。

🔬 方法详解

问题定义：本论文旨在解决多模态智能搜索中的效率和可靠性问题。现有方法往往依赖于大量数据和复杂模型，导致搜索过程缓慢且结果不够可靠。

核心思路：SimpleSearch-VL的核心思路是通过改善智能体的内部搜索与验证机制，而非单纯增加数据量或模型复杂性，从而实现高效且可靠的搜索。

技术框架：该框架主要包括三个模块：因子自适应回滚（FAR）模块用于提高采样效率，证据验证模块用于确保检索信息的相关性，以及轻量级工具接口模块用于实现网页自我摘要。

关键创新：最重要的创新在于引入了因子自适应回滚（FAR）方法和思维链验证机制，这两者显著提高了搜索的效率和结果的可靠性，与传统方法相比，减少了对外部依赖的需求。

关键设计：在参数设置上，使用了5000条监督工具交错轨迹和2000条强化学习数据进行训练，设计了轻量级的工具接口，确保了系统的实用性和高效性。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SimpleSearch-VL在8B和30B-A3B变体上分别提升了Qwen3-VL智能基线15.8和16.0个平均点，且SimpleSearch-VL-30B-A3B模型的性能与智能体Gemini-3-Pro相当，显示出其在多模态搜索中的强大竞争力。

🎯 应用场景

SimpleSearch-VL的研究成果可广泛应用于信息检索、智能助手、教育和医疗等领域，尤其是在需要快速获取和验证多模态信息的场景中。其高效性和可靠性将为用户提供更优质的搜索体验，推动智能搜索技术的发展。

📄 摘要（原文）

We present SimpleSearch-VL, an efficient, reliable, and practical framework for multimodal agentic search. Its core idea is to improve the agent's own search-and-verification process rather than scaling data, tools, or auxiliary model components. For efficiency, Factorized Adaptive Rollout (FAR) improves sampling efficiency by forming more informative training groups while using redundant samples to mitigate long-tail latency and expose hard samples. For reliability, SimpleSearch-VL performs evidence-verified reasoning, explicitly using chain-of-thought verification to assess the relevance of retrieved visual and textual cues to the original context. For practicality, SimpleSearch-VL keeps a lightweight tool interface and performs webpage self-summary within the agent, requiring no additional external dependencies. With only 5K supervised tool-interleaved trajectories and 2K RL data, SimpleSearch-VL improves Qwen3-VL agentic baselines by 15.8 and 16.0 average points for the 8B and 30B-A3B variants, respectively. The SimpleSearch-VL-30B-A3B model further achieves performance competitive with agentic Gemini-3-Pro.