ToolEyes: Fine-Grained Evaluation for Tool Learning Capabilities of Large Language Models in Real-world Scenarios

📄 arXiv: 2401.00741v3 📥 PDF

作者: Junjie Ye, Guanyu Li, Songyang Gao, Caishuang Huang, Yilong Wu, Sixian Li, Xiaoran Fan, Shihan Dou, Tao Ji, Qi Zhang, Tao Gui, Xuanjing Huang

分类: cs.CL, cs.AI

发布日期: 2024-01-01 (更新: 2024-12-05)

备注: Accepted by COLING 2025 conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出ToolEyes以解决LLMs工具学习能力评估不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具学习 大型语言模型 评估系统 真实场景 认知能力 多维度评估 智能助手

📋 核心要点

  1. 现有工具学习评估方法过于依赖预设场景，无法真实反映LLMs的工具使用能力。
  2. 本文提出ToolEyes系统，通过细粒度评估LLMs在真实场景中的工具学习能力，涵盖多个关键维度。
  3. 实验结果表明，LLMs在工具学习方面存在认知能力的限制，且模型规模的扩大未必能改善这一问题。

📝 摘要（中文）

现有的工具学习评估主要集中在验证大型语言模型（LLMs）与预期结果的工具选择一致性。然而，这些方法依赖于有限的场景，无法真实反映需求。此外，单一关注结果忽视了LLMs有效使用工具所需的复杂能力。为了解决这一问题，本文提出了ToolEyes，一个针对LLMs工具学习能力的细粒度评估系统。该系统详细分析了七个真实场景，考察了格式对齐、意图理解、行为规划、工具选择和答案组织五个维度。ToolEyes还包含一个约600个工具的工具库，作为LLMs与物理世界之间的中介。对十个LLMs的评估显示出特定场景的偏好和工具学习能力的局限性，模型规模的扩大甚至加剧了工具学习的障碍。

🔬 方法详解

问题定义：本文旨在解决现有工具学习评估方法的不足，尤其是其对真实场景的适应性差和对LLMs复杂能力的忽视。

核心思路：ToolEyes系统通过细致分析真实场景中的工具学习能力，评估LLMs在格式对齐、意图理解等五个维度的表现，提供更全面的评估框架。

技术框架：ToolEyes的整体架构包括工具库、评估模块和结果分析模块。工具库包含约600个工具，评估模块负责对LLMs在不同场景下的表现进行评估，结果分析模块则对评估结果进行总结和可视化。

关键创新：ToolEyes的最大创新在于其细粒度评估方法，能够全面考察LLMs在真实场景中的工具学习能力，区别于以往仅关注结果的评估方式。

关键设计：系统设计中，参数设置包括工具库的构建和评估维度的选择，损失函数则基于各维度的表现进行加权，确保评估的全面性和准确性。整体网络结构采用模块化设计，以便于扩展和更新。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，十个LLMs在工具学习能力评估中表现出明显的场景偏好，且认知能力有限。值得注意的是，模型规模的扩大并未改善工具学习能力，反而可能加剧这一问题，提示研究者在模型设计时需考虑工具学习的复杂性。

🎯 应用场景

ToolEyes的研究成果可广泛应用于智能助手、自动化工具和人机交互等领域，帮助提升LLMs在实际应用中的工具使用能力，推动智能系统的进一步发展。未来，该系统还可能为其他领域的模型评估提供借鉴，促进多模态学习和跨领域应用的研究。

📄 摘要（原文）

Existing evaluations of tool learning primarily focus on validating the alignment of selected tools for large language models (LLMs) with expected outcomes. However, these approaches rely on a limited set of scenarios where answers can be pre-determined, diverging from genuine needs. Furthermore, a sole emphasis on outcomes disregards the complex capabilities required for LLMs to effectively use tools. To tackle this issue, we propose ToolEyes, a fine-grained system tailored for the evaluation of the LLMs' tool learning capabilities in authentic scenarios. The system meticulously examines seven real-world scenarios, analyzing five dimensions crucial to LLMs in tool learning: format alignment, intent comprehension, behavior planning, tool selection, and answer organization. Additionally, ToolEyes incorporates a tool library boasting approximately 600 tools, serving as an intermediary between LLMs and the physical world. Evaluations involving ten LLMs across three categories reveal a preference for specific scenarios and limited cognitive abilities in tool learning. Intriguingly, expanding the model size even exacerbates the hindrance to tool learning. The code and data are available at https://github.com/Junjie-Ye/ToolEyes.