IAPO: Input Attribution-Aware Policy Optimization for Tool Use in Small Multimodal Agents

📄 arXiv: 2606.11652v1 📥 PDF

作者: Yifan Yang, Zhen Zhang, Jiayi Tian, Liyan Tan, Zheng Zhang

分类: cs.LG

发布日期: 2026-06-10

💡 一句话要点

提出IAPO以解决小型多模态代理工具调用能力不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 多模态学习 工具调用 输入归因 策略优化 视觉问答 小型语言模型

📋 核心要点

  1. 现有方法在多模态任务中评估工具使用的正确性时，通常依赖于精确匹配，导致适用性不足。
  2. 本文提出的IAPO算法通过对齐输入组件的归因，改善了多模态SLM的工具使用能力。
  3. 实验结果表明，IAPO在视觉问答任务中相比现有方法平均提高了3%的准确率。

📝 摘要（中文）

本文研究了强化学习（RL）方法，以提升小型语言模型（SLM）代理在多模态场景下的工具调用能力。现有方法在评估工具使用正确性时，通常依赖于与特定真值或预定义格式的精确匹配，这在多模态任务中往往不适用。此外，稀疏的二元奖励对决策过程的指导有限，导致SLM难以学习。为了解决这些问题，本文提出了输入归因感知策略优化（IAPO），通过将模型的输入组件归因与更强教师模型的归因对齐，来改善多模态SLM的工具使用能力。实验结果显示，该方法在六个测试集上平均提高了3%的视觉问答准确率。

🔬 方法详解

问题定义：本文旨在解决小型多模态语言模型在工具调用能力上的不足，现有方法依赖于精确匹配的评估方式，导致在多模态任务中的适用性差。

核心思路：提出的IAPO算法通过输入归因的对齐，借助强教师模型的指导，帮助SLM更好地理解和使用工具，从而提升其决策能力。

技术框架：IAPO的整体架构包括输入归因计算、教师模型的归因对齐和策略优化三个主要模块，确保模型在多模态输入下能够有效学习。

关键创新：IAPO的核心创新在于通过输入归因的对齐来优化策略，这一方法与传统的基于奖励的学习方式有本质区别，能够提供更有效的学习信号。

关键设计：在设计中，IAPO采用了特定的损失函数来衡量归因对齐的效果，并在网络结构上进行了优化，以适应多模态输入的特性。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，IAPO在六个测试集上平均提高了3%的视觉问答准确率，相比于现有的视觉工具使用方法，表现出显著的性能提升，证明了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具使用和人机交互等。通过提升小型多模态代理的工具调用能力，能够在复杂任务中提供更高效的支持，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This paper investigates reinforcement learning (RL) methods for improving tool-calling capabilities in multimodal small language model (SLM) agents. While existing works have explored various reward designs to improve agentic tool-calling ability, these approaches face inherent limitations for SLM training, especially under multimodal scenarios. First, many existing methods evaluate tool use correctness through exact matching against certain ground-truth or predefined formats. However, this assumption is often unsuitable for multimodal tasks, where multiple tool use paths may be valid and annotated tool trajectories are typically unavailable. Second, such sparse and brittle binary rewards provide little guidance on how to improve the underlying decision process, making them particularly difficult for multimodal SLM to learn from. To address these issues, we propose Input Attribution-Aware Policy Optimization (IAPO), an RL algorithm for improving tool use in multimodal SLM by aligning the model's attribution across input components with that of a stronger teacher. Experiments on Qwen2.5-VL-3B show that the proposed method improves visual question answering accuracy by an average of 3% across six test sets compared with existing visual tool use work, by helping the model attend to the most relevant input evidence.