Hear, Invoke, and Understand: A Skill-Calling Multimodal Agent for Large Audio Language Models
作者: Yuwen Wang, Tian-Hao Zhang, Minghao Cai, Yilin Ren, Ziyang Jiang, Xin Wang, Zhichao Wang, Pan Zhou, Kun Zhan, Xinyuan Qian
分类: cs.MM, cs.AI
发布日期: 2026-08-03
💡 一句话要点
提出SpeechAgent-R以解决复杂音频推理问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频推理 多模态理解 工具交互 强化学习 任务性能评估
📋 核心要点
- 现有音频处理模型在复杂声学问题上表现不足，无法有效进行工具交互和推理。
- 论文提出SpeechAgent-R，通过协调多模态理解与外部工具，增强音频代理的推理能力。
- 实验结果显示，SpeechAgent-R在ID和OOD任务上分别提升了15.40和14.23分，显著提高了模型性能。
📝 摘要（中文）
复杂的声学问题可能需要模型执行声学操作，与外部工具互动，并对生成的文本或处理过的音频观察进行推理，而不是直接从固定音频输入中回答。我们研究了这种工具交互音频推理问题，并开发了SpeechAgent-R，一个协调其内在多模态理解与外部技能和工具的音频代理。为支持这一能力，我们构建了HIU-Corpus，包含65,492个交互轨迹和507.6小时音频，涵盖24个任务、8项技能和9种工具。SpeechAgent-R首先通过基于轨迹的监督微调学习结构化的交互行为，然后通过多轮强化学习改进决策。我们进一步引入HIU-Bench来联合评估任务性能、交互质量和对多样任务设置的泛化能力。SpeechAgent-R在ID任务上取得了84.17的成绩，在OOD任务上取得了70.94，分别比基线模型提升了15.40和14.23分。这些结果表明，学习技能和工具协调提高了音频代理处理多样任务设置和自适应工具交互的能力。
🔬 方法详解
问题定义：本论文旨在解决复杂音频推理问题，现有方法在处理声学操作和工具交互时存在局限性，无法有效推理生成的文本或处理音频。
核心思路：论文提出的SpeechAgent-R通过结合内在多模态理解与外部技能和工具，提升音频代理的交互和推理能力。这种设计使得模型能够在动态环境中适应不同的任务需求。
技术框架：SpeechAgent-R的整体架构包括两个主要阶段：首先是通过轨迹监督微调学习结构化交互行为，其次是通过多轮强化学习优化决策过程。
关键创新：最重要的创新点在于引入了HIU-Corpus和HIU-Bench，前者为模型提供了丰富的交互数据，后者则用于综合评估模型在不同任务设置下的表现和泛化能力。
关键设计：在模型训练中，采用了轨迹监督微调和多轮强化学习的结合，关键参数设置和损失函数设计旨在优化模型的交互质量和任务性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SpeechAgent-R在ID任务上取得了84.17的成绩，在OOD任务上达到70.94，分别比基线模型提升了15.40和14.23分，显示出其在多样任务设置下的优越性能。
🎯 应用场景
该研究的潜在应用领域包括智能助手、自动化客服和音频内容分析等，能够在复杂的音频交互场景中提供更为智能和灵活的解决方案。未来，SpeechAgent-R有望推动音频理解和人机交互的进一步发展。
📄 摘要（原文）
Complex acoustic problems may require models to perform acoustic operations, interact with external tools and reason over the resulting textual or processed-audio observations rather than answer directly from a fixed audio input. We study such problems as tool-interactive audio reasoning and develop SpeechAgent-R, an audio agent that coordinates its intrinsic multimodal understanding with external skills and tools. To support this capability, we construct HIU-Corpus, comprising 65,492 interaction trajectories and 507.6 hours of audio across 24 tasks, 8 skills and 9 tools. SpeechAgent-R first learns structured interaction behaviors through trajectory-based supervised fine-tuning and then improves its decisions through multi-turn reinforcement learning. We further introduce HIU-Bench to jointly evaluate task performance, interaction quality and generalization to diverse task settings. It contains 1,395 samples across 56 tasks, including in-distribution (ID) and out-of-distribution (OOD) splits with substantial shifts in tool usage and workflow composition. SpeechAgent-R achieves 84.17 on ID tasks and 70.94 on OOD tasks, improving over the base model under the same agent harness by 15.40 and 14.23 points. These results demonstrate that learning skill and tool coordination improves audio agents' ability to handle diverse task settings and adaptive tool interactions.