Calibration is the Bottleneck: An Action-Class Diagnostic of Multi-Turn Tool-Calling

📄 arXiv: 2609.00949v1 📥 PDF

作者: Kangjia Zhao, Jiajun Li, Haozhan Shen, Wei Chow, Linfeng Li, Hang Song, Lingdong Kong, Chen Zhi, Tiancheng Zhao, Songhua Liu, Jianwei Yin

分类: cs.CL, cs.AI

发布日期: 2026-09-01

备注: Accepted to Findings of EMNLP 2026. Code: https://github.com/fbj2333/tool-calling-calibration

💡 一句话要点

提出行动类别诊断框架以解决多轮工具调用中的校准问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话 工具调用 模型校准 行动类别诊断 智能助手 自动问答 性能评估

📋 核心要点

  1. 现有的多轮工具调用评估方法未能有效揭示模型在不同场景中的表现差异，导致误校准问题被忽视。
  2. 本文提出了一种新的行动类别诊断框架，通过将多轮失败分解为误校准和执行失败，提供更细致的评估视角。
  3. 实验结果表明，行动类别误校准是一个重要的失败模式，且通过上下文扰动可以显著改善模型的校准性能。

📝 摘要（中文）

多轮工具调用是大型语言模型（LLM）代理的重要评估场景。在公共工具调用基准上，开放权重模型的整体准确率已接近或超过封闭源前沿模型。然而，这一指标掩盖了不同多轮场景之间的进展是否均衡。本文提出了一种以行动类别为导向的诊断框架，将多轮失败分解为两种正交模式：行动类别误校准和行动执行失败。该框架在四类行动空间（工具调用/询问/拒绝/确认）上运行，并引入自揭示的上限Acc <= GAR（黄金行动召回）。诊断结果显示，行动类别误校准是一个显著的失败模式，状态评分器无法识别。我们认为，多轮工具调用评估应补充行动类别诊断，以揭示模型在每种场景中的实际表现。

🔬 方法详解

问题定义：本文旨在解决多轮工具调用中的校准问题，现有方法未能有效识别模型在不同场景中的表现差异，导致误校准现象未被充分揭示。

核心思路：提出了一种以行动类别为导向的诊断框架，将多轮失败分解为行动类别误校准和行动执行失败，从而提供更清晰的评估依据。

技术框架：该框架基于四类行动空间（工具调用/询问/拒绝/确认），通过引入自揭示的上限Acc <= GAR，评估模型在不同场景中的表现。

关键创新：最重要的创新在于将多轮失败分解为两种正交模式，使得模型的误校准和执行失败能够被独立识别和分析，这与现有方法的整体评估方式有本质区别。

关键设计：框架中使用了上下文扰动技术，能够通过不同的扰动机制对模型的校准性能进行评估，发现单一扰动对不同模型的影响可以相差高达32.5个百分点。具体的参数设置和损失函数设计在实验中进行了详细探讨。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，行动类别误校准是一个显著的失败模式，且通过上下文扰动，模型的准确率在不同场景中可提升高达11.5个百分点，而在某些情况下则可能下降21个百分点，表明校准的复杂性和多样性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动问答系统和多轮对话系统等。通过更精准的模型评估，能够提升这些系统在实际应用中的表现和用户体验，未来可能推动更智能的交互技术发展。

📄 摘要（原文）

Multi-turn tool calling is a core evaluation scenario for large language model (LLM) agents. On public tool-calling benchmarks, open-weight models now approach or even surpass closed-source frontier models in aggregate accuracy. However, this metric averages over many different multi-turn situations and obscures whether progress is balanced across them. We propose an action-class-oriented diagnostic framework that decomposes multi-turn failures into two orthogonal modes: action-class miscalibration and action-execution failure. The framework operates over a four-class action space (TOOL_CALL/ASK/REFUSE/CONFIRM) and introduces a self-revealing upper bound Acc <= GAR (Gold Action Recall); the two modes show up as bound violation (Acc > GAR, exposing state-grader masking of miscalibration) and large bound slack (GAR >> Acc, localizing execution failure within TOOL_CALL). We validate it on a panel of tool-calling models across multiple multi-turn benchmarks. Across our panel, the diagnostic reveals action-class miscalibration as a substantial failure mode the state grader cannot see. This gap inflates standing for heavily tool-trained families, which our diagnostic separates from families with context-appropriate action choice. Calibration is reshapable through context-only perturbations, but the reshape is heterogeneous: a single perturbation moves accuracy in opposite directions across families (up to +11.5 vs -21.0 pp on the same scenario), and its effect further depends on the perturbation mechanism. We argue that multi-turn tool-calling evaluations should supplement aggregate accuracy with action-class diagnostics that expose what the model actually does in each scenario.