Iterative Tool Usage Exploration for Multimodal Agents via Step-wise Preference Tuning

📄 arXiv: 2504.21561 📥 PDF

作者: Pengxiang Li, Zhi Gao, Bofei Zhang, Yapeng Mi, Xiaojian Ma, Chenrui Shi, Tao Yuan, Yuwei Wu, Yunde Jia, Song-Chun Zhu, Qing Li

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出SPORT方法以解决多模态智能体工具使用探索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态智能体 工具使用探索 自我优化 偏好调优 任务合成 步骤验证 人工智能

📋 核心要点

  1. 现有的多模态智能体训练方法依赖大量人工标注数据，获取成本高且不切实际。
  2. 本文提出SPORT方法，通过自我探索和优化，帮助智能体自动发现有效的工具使用策略。
  3. 在GTA和GAIA基准测试中，SPORT智能体分别实现了6.41%和3.64%的性能提升，验证了方法的有效性。

📝 摘要（中文）

多模态智能体通过整合控制器（如视觉语言模型）与外部工具，展现出在复杂多模态任务中的卓越能力。然而，现有的训练方法依赖于大量人工标注的任务-答案对和工具轨迹，这在复杂任务中往往难以获得。本文提出了一种名为SPORT的迭代工具使用探索方法，通过逐步偏好优化，帮助多模态智能体在没有预先收集数据的情况下，自主发现有效的工具使用策略。SPORT包含任务合成、步骤采样、步骤验证和偏好调优四个迭代组件，最终在GTA和GAIA基准测试中实现了6.41%和3.64%的性能提升，证明了该方法的有效性和泛化能力。

🔬 方法详解

问题定义：本文旨在解决多模态智能体在复杂任务中对工具使用的探索问题。现有方法依赖大量人工标注数据，导致训练过程昂贵且不切实际。

核心思路：提出SPORT方法，通过逐步偏好优化，使智能体能够在没有预先收集数据的情况下，自主探索和优化工具使用策略。

技术框架：SPORT方法包括四个主要模块：任务合成、步骤采样、步骤验证和偏好调优。首先，使用语言模型合成多模态任务；然后，智能体通过步骤采样尝试不同工具并获取结果，接着通过步骤验证获取反馈，最后利用偏好调优更新控制器。

关键创新：SPORT的核心创新在于其迭代探索机制，允许智能体在没有人工标注的情况下，通过自我反馈不断优化工具使用策略，这与传统依赖人工标注的方法本质上不同。

关键设计：在步骤验证中，采用验证器提供AI反馈，构建逐步偏好数据，这些数据用于更新控制器。具体的参数设置和损失函数设计未在摘要中详细说明，需参考原文获取更多技术细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPORT方法在GTA和GAIA基准测试中分别实现了6.41%和3.64%的性能提升，显著优于传统方法。这一结果表明，SPORT在多模态任务中的泛化能力和有效性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化助手和复杂任务处理系统。通过自主探索工具使用策略，智能体能够在多种实际场景中更有效地执行任务，降低对人工标注的依赖，提升系统的灵活性和适应性。未来，该方法可能推动多模态智能体在更广泛领域的应用，如智能家居、工业自动化等。

📄 摘要（原文）

Multimodal agents, which integrate a controller e.g., a vision language model) with external tools, have demonstrated remarkable capabilities in tackling complex multimodal tasks. Existing approaches for training these agents, both supervised fine-tuning and reinforcement learning, depend on extensive human-annotated task-answer pairs and tool trajectories. However, for complex multimodal tasks, such annotations are prohibitively expensive or impractical to obtain. In this paper, we propose an iterative tool usage exploration method for multimodal agents without any pre-collected data, namely SPORT, via step-wise preference optimization to refine the trajectories of tool usage. Our method enables multimodal agents to autonomously discover effective tool usage strategies through self-exploration and optimization, eliminating the bottleneck of human annotation. SPORT has four iterative components: task synthesis, step sampling, step verification, and preference tuning. We first synthesize multimodal tasks using language models. Then, we introduce a novel trajectory exploration scheme, where step sampling and step verification are executed alternately to solve synthesized tasks. In step sampling, the agent tries different tools and obtains corresponding results. In step verification, we employ a verifier to provide AI feedback to construct step-wise preference data. The data is subsequently used to update the controller for tool usage through preference tuning, producing a SPORT agent. By interacting with real environments, the SPORT agent gradually evolves into a more refined and capable system. Evaluation in the GTA and GAIA benchmarks shows that the SPORT agent achieves 6.41% and 3.64% improvements, underscoring the generalization and effectiveness introduced by our method. The project page isthis https URL.