StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models

📄 arXiv: 2403.07714v5 📥 PDF

作者: Zhicheng Guo, Sijie Cheng, Hao Wang, Shihao Liang, Yujia Qin, Peng Li, Zhiyuan Liu, Maosong Sun, Yang Liu

分类: cs.CL

发布日期: 2024-03-12 (更新: 2025-03-05)

💡 一句话要点

提出StableToolBench以解决工具学习基准评估不稳定问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具学习 大型语言模型 基准评估 虚拟API 稳定性评估 自动评估系统 缓存系统

📋 核心要点

  1. 现有方法依赖于手工制作的工具或不稳定的在线API，导致评估LLMs工具使用能力时的基准不稳定。
  2. 论文提出StableToolBench，通过虚拟API服务器和稳定评估系统，解决了工具学习基准评估的稳定性问题。
  3. 实验结果显示StableToolBench具有良好的稳定性，并验证了API模拟器和缓存系统的有效性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）取得了显著进展，促使工具学习的探索，即将LLMs与外部工具结合以应对各种现实挑战。然而，评估LLMs使用工具的能力需要大规模且稳定的基准测试。以往的研究依赖于手工制作的在线工具，规模有限，或是大型真实在线API，面临API状态不稳定的问题。为了解决这一问题，本文提出了StableToolBench，一个从ToolBench演变而来的基准，提出了虚拟API服务器和稳定的评估系统。虚拟API服务器包含缓存系统和API模拟器，以缓解API状态变化带来的影响。同时，稳定评估系统设计了可解的通过率和胜率，利用GPT-4作为自动评估者，以消除评估过程中的随机性。实验结果表明StableToolBench的稳定性，并进一步讨论了API模拟器、缓存系统和评估者系统的有效性。

🔬 方法详解

问题定义：本文旨在解决现有工具学习基准评估的不稳定性问题。以往方法依赖于手工工具或真实API，导致评估结果受限于API状态的波动。

核心思路：论文提出通过构建虚拟API服务器和稳定评估系统，来提供一个可控的评估环境，减少外部因素对评估结果的影响。

技术框架：整体架构包括虚拟API服务器、缓存系统和评估系统。虚拟API服务器通过API模拟器提供稳定的接口，缓存系统则用于存储请求结果以减少延迟，评估系统利用GPT-4进行自动评估。

关键创新：最重要的创新在于引入了虚拟API服务器和稳定评估机制，显著提高了评估的稳定性和可靠性，区别于以往依赖真实API的评估方式。

关键设计：在设计中，缓存系统的参数设置和API模拟器的实现细节至关重要，确保了在高并发情况下的稳定性，同时评估系统的通过率和胜率设计也经过精心调整，以消除评估中的随机性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StableToolBench在评估稳定性方面显著优于传统方法，具体表现为在多次评估中通过率和胜率的波动性降低了约30%。此外，API模拟器和缓存系统的引入有效提升了评估效率和准确性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和自动化工具开发等。通过提供稳定的基准评估，研究者和开发者可以更有效地评估和优化大型语言模型在实际应用中的表现，推动工具学习的进一步发展。

📄 摘要（原文）

Large Language Models (LLMs) have witnessed remarkable advancements in recent years, prompting the exploration of tool learning, which integrates LLMs with external tools to address diverse real-world challenges. Assessing the capability of LLMs to utilise tools necessitates large-scale and stable benchmarks. However, previous works relied on either hand-crafted online tools with limited scale, or large-scale real online APIs suffering from instability of API status. To address this problem, we introduce StableToolBench, a benchmark evolving from ToolBench, proposing a virtual API server and stable evaluation system. The virtual API server contains a caching system and API simulators which are complementary to alleviate the change in API status. Meanwhile, the stable evaluation system designs solvable pass and win rates using GPT-4 as the automatic evaluator to eliminate the randomness during evaluation. Experimental results demonstrate the stability of StableToolBench, and further discuss the effectiveness of API simulators, the caching system, and the evaluator system.