WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents

📄 arXiv: 2608.28062v1 📥 PDF

作者: Zongkai Liu, Hui Zhang, Liqiang Niu, Zhen Cao, Han Li, Juntao Liu, Wenchao Chen, Chengduo Zhao, Chao Yu, Fandong Meng

分类: cs.AI

发布日期: 2026-08-28

💡 一句话要点

提出WeAgent-MMSearch以解决多模态搜索代理中的视觉信息缺失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态搜索 文本-视觉交互 代理训练 图像检索 长时间交互 鲁棒性 数据构建 智能助手

📋 核心要点

  1. 现有多模态搜索代理在处理视觉信息时存在缺失，导致推理能力受限于文本。
  2. 提出WeAgent-Harness框架，支持文本与视觉的原生交互，并实现运行时恢复。
  3. 在VisTarget-Bench等基准上评估，代理后训练显著提高了模型性能，平均得分提升19.22分。

📝 摘要（中文）

多模态搜索代理通过开放网络扩展参数知识，但现有的代理搜索环境往往仅以文本形式展示检索到的证据，忽略了工具返回的图像，导致视觉基础的推理仅限于文本。长时间交互也加剧了工具调用、响应长度、超时和预算失败的问题，可能会丢弃可挽救的轨迹，浪费计算资源并干扰策略更新。为了解决这些问题，本文提出了WeAgent-Harness，一个支持原生文本-视觉交互和运行时恢复的多模态代理框架，并基于此开发了WeAgent-MMSearch系统，涵盖数据构建、代理后训练和多模态回滚。实验结果表明，代理后训练使平均得分提高了19.22分，超越了同类开源模型。

🔬 方法详解

问题定义：本文旨在解决现有多模态搜索代理在长时间交互中对视觉信息的忽视，导致推理能力受限于文本，且长时间交互中可能出现的工具调用失败等问题。

核心思路：提出WeAgent-Harness框架，允许模型在整个交互过程中持续访问和引用检索到的图像，从而增强文本与视觉的交互能力，并通过运行时恢复机制提高系统的鲁棒性。

技术框架：WeAgent-MMSearch系统包括数据构建、代理后训练和多模态回滚三个主要模块。数据构建阶段使用强大的多模态大语言模型（MLLM）发现、合成和验证任务；后训练阶段采用失败感知的GSPO（FA-GSPO）方法恢复可挽救的异常回滚；多模态回滚则优化了规划和搜索过程。

关键创新：最重要的创新在于WeAgent-Harness的设计，使得图像在整个交互过程中能够被持久引用，从而避免了信息丢失，提升了模型的推理能力。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型能够有效处理多模态信息，并通过专家轨迹的收集与验证来增强训练数据的质量。

📊 实验亮点

在VisTarget-Bench和七个公共基准上的评估结果显示，代理后训练使模型的平均得分提高了19.22分，显著超越了同类开源模型，并与参数数量约为其十倍的模型相媲美，展示了其在多模态搜索中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、虚拟助手和多模态信息检索系统。通过增强文本与视觉的交互能力，WeAgent-MMSearch可以在用户查询时提供更为丰富和准确的信息，提升用户体验。未来，该技术可能在教育、医疗和自动驾驶等领域发挥重要作用。

📄 摘要（原文）

Multimodal search agents extend parametric knowledge with newly emerging and long-tail evidence from the open web. Yet many existing agentic search environments often expose retrieved evidence only as text and omit tool-returned images from subsequent context, reducing visually grounded trajectories to text-only reasoning. Long-horizon interaction also compounds tool-call, response-length, timeout, and budget failures, which can discard salvageable trajectories, waste rollout computation, and disturb policy updates. To address these issues, we introduce WeAgent-Harness, a multimodal agentic harness that supports native text-vision interaction and runtime recovery. Retrieved images receive persistent disk references, allowing the model to inspect, process, and cite them throughout the trajectory. Based on this harness, we develop WeAgent-MMSearch, an integrated system spanning data construction, agentic post-training, and multimodal rollout. For data construction, a strong MLLM uses WeAgent-Harness to discover, synthesize, and verify MMSearch-style tasks and collect expert trajectories. During post-training, our Failure-Aware GSPO (FA-GSPO) recovers salvageable abnormal rollouts and filters invalid ones to improve bounded multimodal planning and search.We also introduce VisTarget-Bench, a 150-task human-verified benchmark that pairs each question with a held-out target image, distinguishing image-retrieval failures from visual-perception failures. Evaluation on VisTarget-Bench and seven public benchmarks shows that agentic post-training improves the average score by 19.22 points, enabling our model to outperform similarly sized open-source models and rival models with roughly ten times its parameter count.