Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls

📄 arXiv: 2608.03071v1 📥 PDF

作者: Guoyao Yu, Xiaoqing Sun, Ziqi Huang, Shaojing Fan, Zhongyi Zhang, Xiaomeng Hu, Xiaobo Xue, Yangyang Shi, Xiong Xiao, Yang Song, Biao Lyu, Rong Wen, Xing Li, Qinming He, Shunming Zhu, Zhenguang Liu

分类: cs.AI

发布日期: 2026-08-04

备注: 15 pages, 8 figures

💡 一句话要点

提出探针引导训练框架以提升LLM工具调用参数生成准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 工具调用 参数生成 探针引导 自举训练 重排序 云网络 基准评估

📋 核心要点

  1. 现有方法在工具调用参数的生成上存在显著不足，尤其是在复杂场景下的准确性较低。
  2. 论文提出了一种探针引导的训练框架，通过探针过滤和重排序来提高参数生成的准确性。
  3. 在ParamBench和其他基准上的实验表明，该方法将参数生成的准确率从19.7%提升至59.6%。

📝 摘要（中文）

大型语言模型（LLM）代理的能力在很大程度上依赖于工具的使用。现有研究主要集中在选择合适的工具和调用顺序上，而对工具调用参数的正确填充关注较少。研究表明，LLM的隐藏状态中包含强烈的正确性信号，简单的线性探针可以准确预测参数值的正确性。基于此，论文提出了一种统一的探针引导框架，包括探针过滤的自举训练（PBT）和探针引导的重排序（PGR）。此外，研究者发布了ParamBench基准，系统评估工具调用的难度。实验结果显示，该方法显著提高了参数生成的准确性，平均准确率从19.7%提升至59.6%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在工具调用中参数生成的准确性不足的问题。现有方法在复杂的云网络场景中，正确完成工具调用的比例不足50%。

核心思路：论文的核心思路是利用LLM的隐藏状态中蕴含的正确性信号，通过探针模型来预测参数值的正确性，从而提升生成的准确性。

技术框架：整体架构包括两个主要模块：探针过滤的自举训练（PBT）用于过滤可靠的自生成调用进行微调，探针引导的重排序（PGR）用于推理时选择更优的候选参数。

关键创新：最重要的创新点在于首次利用探针模型对LLM生成的参数值进行有效的正确性预测，这一方法与传统的工具选择和调用顺序优化形成了鲜明对比。

关键设计：在设计中，探针模型采用线性结构，能够快速评估生成参数的正确性；同时，训练过程中采用了自举方法，以确保所选调用的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在ParamBench和6个外部基准上显著提升了参数生成的准确性，平均准确率从19.7%提升至59.6%，展示了探针引导训练的有效性。

🎯 应用场景

该研究的潜在应用领域包括云计算、网络管理和其他依赖工具调用的智能系统。通过提升参数生成的准确性，能够显著提高系统的整体性能和用户体验，未来可能推动更多智能代理的实际应用。

📄 摘要（原文）

Large language model agents derive much of their capability from tool use. Existing research on tool use has largely focused on selecting the right tool and orchestrating the order of calls. However, correctly filling the parameters of a tool call is equally critical for successful execution and has received far less attention. In domains such as cloud networking, even frontier models correctly complete fewer than half of tool calls. Inspired by recent analyses showing that LLM hidden states encode rich information about model predictions, we discover that while the model generates a parameter value, its hidden state contains a strong correctness signal: a simple linear probe can accurately predict whether the value will be correct. Based on this observation, we propose a unified probe-guided framework with two complementary approaches: probe-filtered bootstrapped training (PBT), which uses the probe to filter reliable self-generated calls for fine-tuning, and probe-guided reranking (PGR), which uses the probe to select better candidates during inference. To support systematic evaluation, we release ParamBench, a benchmark built from real cloud-network APIs that categorizes every instance into five difficulty levels according to parameter nesting depth, cross-parameter dependencies, and the reasoning required to derive values from earlier calls. Extensive experiments across 5 open models on ParamBench and 6 external benchmarks demonstrate that our method substantially improves parameter generation, raising the average exact match from 19.7% to 59.6%.