AIR: Adaptive Interleaved Reasoning with Code in MLLMs
作者: Cong Han, Xiaohan Lan, Haibo Qiu, Yujie Zhong
分类: cs.CV, cs.AI
发布日期: 2026-06-22
备注: 19 pages, 4 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出自适应交错推理方法以解决多模态大语言模型的数值计算问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 交错推理 强化学习 数值计算 工具调用 数据过滤 奖励函数
📋 核心要点
- 现有方法主要集中于视觉任务，无法有效处理数值计算问题，限制了多模态大语言模型的应用。
- 本文提出了一种自适应交错推理方法，通过扩展强化学习训练，增强了MLLMs在复杂数值计算任务中的能力。
- 实验结果显示，经过训练后，模型在评估基准上的性能平均提高6.1个百分点，交错推理样本准确率提高9.9个百分点。
📝 摘要（中文）
随着OpenAI引发的范式转变，交错推理与代码结合以增强多模态大语言模型（MLLMs）已成为重要研究前沿。现有文献主要集中在视觉感知任务中的工具使用，然而这些方法通常依赖于预定义的启发式规则进行视觉操作，无法有效处理数值计算问题。本文通过扩展强化学习训练，使MLLMs具备自适应交错推理能力，针对复杂的数值计算任务提出了一个综合的三部分解决方案，包括两阶段冷启动数据构建管道、强化学习数据集的过滤策略，以及利用群体约束奖励函数的自适应工具调用策略。实验结果表明，经过强化学习训练后，评估基准的性能平均提高了6.1个百分点，交错推理样本的准确率提高了9.9个百分点，工具使用的整体成功率超过95%。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在数值计算任务中的不足，现有方法主要依赖视觉操作，无法有效处理数值计算问题。
核心思路：通过扩展强化学习训练，使模型具备自适应交错推理能力，能够在复杂数值计算任务中有效调用代码。
技术框架：整体架构包括三部分：1) 两阶段冷启动数据构建管道；2) 强化学习数据集的过滤策略；3) 利用群体约束奖励函数的自适应工具调用策略。
关键创新：最重要的创新在于提出了群体约束奖励函数，使得交错推理过程中的工具调用更加高效，与现有方法相比，显著提升了数值计算的处理能力。
关键设计：在数据构建和过滤过程中，设计了特定的参数设置和损失函数，以确保数据的质量和多样性，同时优化了工具调用的策略以适应不同的推理场景。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过强化学习训练后，模型在评估基准上的性能平均提高了6.1个百分点，交错推理样本的准确率提高了9.9个百分点，工具使用的整体成功率超过95%，展现了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化编程、教育技术等，能够在需要复杂数值计算的场景中提供更高效的解决方案。未来，该方法可能推动多模态大语言模型在更广泛领域的应用，提升其智能化水平。
📄 摘要（原文）
Following the paradigm shift initiated by OpenAI o3, interleaved reasoning with code to enhance multimodal large language models (MLLMs) has become a pivotal research frontier. The existing literature focuses primarily on tool-use within vision-perception tasks. However, such approaches typically rely on predefined heuristics for visual manipulation and are inherently incapable of addressing numerical computation problems due to their exclusive focus on visual operations. This paper empowers MLLMs with adaptive interleaved reasoning capabilities through extended reinforcement learning training on code-augmented complex numerical computation tasks. To this end, we propose a comprehensive three-component solution consisting of: a two-stage cold-start data construction pipeline, data filtering strategies for RL dataset curation, and an adaptive tool-invocation strategy leveraging a group-constrained reward function for interleaved reasoning trajectories. Extensive experiments demonstrate that after Reinforcement Learning training with the group-constrained reward function, performance improves by an average of 6.1 percentage points (pp) on evaluation benchmarks. Specifically, the accuracy for interleaved reasoning samples increases by 9.9 pp, and the overall success rate of tool-use exceeds 95%. Our data and code are available at: https://github.com/CongHan0808/AIR.git.