ToolSense: A Diagnostic Framework for Auditing Parametric Tool Knowledge in LLMs

📄 arXiv: 2606.12451 📥 PDF

作者: Ashutosh Hathidara, Sai Shruthi Sistla, Sebastian Schreiber, Sahil Bansal

分类: cs.AI, cs.IR, cs.LG

发布日期: 2026-06-12

💡 一句话要点

提出ToolSense框架以审计LLM中的工具知识检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具检索 大型语言模型 知识理解 基准测试 模糊查询 开源框架 性能评估

📋 核心要点

  1. 现有的工具检索方法在处理模糊查询时表现不佳，导致知识与检索能力之间的脱节。
  2. ToolSense框架通过生成多层次的基准测试，评估LLM对工具知识的理解和检索能力。
  3. 实验结果显示，某些模型在实际检索基准上性能下降50-64个百分点，低于嵌入模型的基线表现。

📝 摘要（中文）

大型语言模型（LLMs）在处理工具目录时面临工具检索瓶颈。现有的嵌入式检索方法依赖于紧凑编码器，可能无法充分捕捉专用工具语义。论文提出了ToolSense，一个开源的LLM驱动的诊断框架，能够自动生成三个基准测试，评估工具知识的检索能力。通过对ToolBench的应用，发现多种模型配置在实际检索基准上表现不佳，显示出知识与检索之间的脱节。该框架及基准已开源，供研究者使用。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在工具检索中的知识理解不足，现有方法在处理模糊查询时表现不佳，导致知识与检索能力之间的脱节。

核心思路：提出ToolSense框架，通过自动生成多层次的基准测试，评估模型对工具知识的理解，特别是在模糊查询情况下的表现。这样的设计旨在揭示模型在实际应用中的局限性。

技术框架：ToolSense框架包括三个主要模块：真实检索基准（RRB）、多项选择题（MCQ）探测基准和问答（QA）探测基准。每个模块针对不同的查询模糊度进行评估。

关键创新：ToolSense的创新在于其能够自动生成多层次的基准测试，特别是针对模糊查询的评估，填补了现有工具检索方法的空白。与传统的全指定查询基准不同，ToolSense关注模型在实际应用中的表现。

关键设计：在模型训练中，采用了两阶段的微调策略，包括记忆和检索的微调（SFT），并对不同的模型配置进行了评估，以揭示知识与检索之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在真实检索基准（RRB）上，多种模型配置的性能下降了50-64个百分点，甚至低于嵌入模型的基线。这一发现揭示了知识与检索能力之间的脱节，强调了ToolSense框架在评估模型理解能力方面的重要性。

🎯 应用场景

ToolSense框架可广泛应用于大型语言模型的工具检索任务，特别是在需要处理模糊查询的场景中。其开源特性使得研究者能够在不同的工具目录上进行测试和优化，推动LLM在实际应用中的性能提升，具有重要的研究和实际价值。

📄 摘要（原文）

Large language models deployed as agents over large tool catalogs face a critical tool-retrieval bottleneck. As embedding-based retrieval approaches rely on compact encoders that may under-capture specialized tool semantics, parametric tool retrieval addresses this by encoding each tool as a virtual token appended to the LLM vocabulary, fine-tuned in two stages (memorization then retrieval SFT) to use the LLM as a retriever, achieving strong performance on standard ToolBench retrieval benchmarks. Yet these benchmarks use verbose, fully-specified queries, and their evaluation applies constrained decoding that restricts outputs to valid token paths, neither reveals whether the model actually understands its tools. We introduce \textbf{ToolSense}, an open-source LLM-powered diagnostic framework that takes any tool catalog as input and automatically generates three benchmarks: a Realistic Retrieval Benchmark (RRB) with queries at three ambiguity tiers, an MCQ probing benchmark, and a QA probing benchmark. Applying ToolSense to ToolBench (~47k tools) and evaluating five parametric model training configurations reveals a knowledge-retrieval dissociation: on RRB queries, several configurations collapse by ~50-64 percentage points compared to fully-specified ToolBench benchmarks, falling below the embedding-model baseline. Additionally, despite strong retrieval performance, some models score near-random on factual probes, suggesting a knowledge-retrieval dissociation. We open-source the ToolSense framework and the ToolBench diagnostic benchmarks atthis https URL.