RoTBench: A Multi-Level Benchmark for Evaluating the Robustness of Large Language Models in Tool Learning

📄 arXiv: 2401.08326v3 📥 PDF

作者: Junjie Ye, Yilong Wu, Songyang Gao, Caishuang Huang, Sixian Li, Guanyu Li, Xiaoran Fan, Qi Zhang, Tao Gui, Xuanjing Huang

分类: cs.CL, cs.AI

发布日期: 2024-01-16 (更新: 2024-09-21)

备注: Accepted by EMNLP 2024 Main conference

🔗 代码/项目: GITHUB

💡 一句话要点

提出RoTBench以评估大型语言模型在工具学习中的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工具学习 大型语言模型 鲁棒性评估 噪声环境 RoTBench RoTTuning 模型评估

📋 核心要点

  1. 现有研究主要关注LLMs在结构良好环境中的工具使用能力，忽视了在现实世界中面对噪声的鲁棒性。
  2. 本文提出RoTBench基准，通过建立多种噪声环境，评估LLMs在工具学习中的鲁棒性，尤其在工具选择和内容填充阶段。
  3. 实验表明，GPT-4在轻微噪声下性能从80.00降至58.10，显示出LLMs在工具学习中的鲁棒性亟待提升。

📝 摘要（中文）

工具学习作为大型语言模型（LLMs）与物理世界之间的重要交互手段，近年来受到广泛关注。然而，现有研究主要集中在LLMs在结构良好的环境中使用工具的能力，忽视了它们在现实世界中面对噪声时的稳定性。为此，本文提出了RoTBench，一个多层次基准，用于评估LLMs在工具学习中的鲁棒性。我们建立了五个外部环境，涵盖不同噪声水平（干净、轻微、中等、重度和联合），深入分析模型在工具选择、参数识别和内容填充三个关键阶段的韧性。实验结果显示，六个广泛使用的模型在工具学习中的鲁棒性亟待提升，尤其是GPT-4在噪声影响下性能显著下降。基于此，我们提出了RoTTuning策略，以丰富训练环境的多样性，增强LLMs的鲁棒性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在工具学习中面对现实世界噪声时的鲁棒性不足问题。现有方法多集中于理想环境下的性能评估，缺乏对噪声影响的系统分析。

核心思路：论文提出RoTBench基准，通过设计多层次的外部环境，评估LLMs在不同噪声水平下的表现，特别关注工具选择、参数识别和内容填充三个关键阶段。

技术框架：RoTBench的整体架构包括五个外部环境（干净、轻微、中等、重度和联合），每个环境具有不同的噪声水平，模型在这些环境中的表现被系统记录和分析。

关键创新：最重要的创新在于通过多层次的噪声环境评估LLMs的鲁棒性，填补了现有研究的空白，特别是对噪声影响的深入分析。

关键设计：在实验中，采用了六个广泛使用的模型进行对比，特别关注模型在不同噪声条件下的表现变化，提出的RoTTuning策略则旨在通过丰富训练环境来提升模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在没有显著手动准确度变化的情况下，其性能在轻微噪声下从80.00降至58.10，表明其鲁棒性不足。此外，GPT系列模型在面对轻微噪声时的噪声修正能力反而抑制了其适应性，强调了提升鲁棒性的必要性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化工具和机器人等，能够帮助大型语言模型更好地适应现实世界中的不确定性和噪声，从而提升其在实际应用中的可靠性和有效性。未来，RoTBench可能成为评估和提升LLMs鲁棒性的标准工具，推动相关技术的发展。

📄 摘要（原文）

Tool learning has generated widespread interest as a vital means of interaction between Large Language Models (LLMs) and the physical world. Current research predominantly emphasizes LLMs' capacity to utilize tools in well-structured environments while overlooking their stability when confronted with the inevitable noise of the real world. To bridge this gap, we introduce RoTBench, a multi-level benchmark for evaluating the robustness of LLMs in tool learning. Specifically, we establish five external environments, each featuring varying levels of noise (i.e., Clean, Slight, Medium, Heavy, and Union), providing an in-depth analysis of the model's resilience across three critical phases: tool selection, parameter identification, and content filling. Experiments involving six widely-used models underscore the urgent necessity for enhancing the robustness of LLMs in tool learning. For instance, the performance of GPT-4 even drops significantly from 80.00 to 58.10 when there is no substantial change in manual accuracy. More surprisingly, the noise correction capability inherent in the GPT family paradoxically impedes its adaptability in the face of mild noise. In light of these findings, we propose RoTTuning, a strategy that enriches the diversity of training environments to bolster the robustness of LLMs in tool learning. The code and data are available at https://github.com/Junjie-Ye/RoTBench.