ToolSword: Unveiling Safety Issues of Large Language Models in Tool Learning Across Three Stages
作者: Junjie Ye, Sixian Li, Guanyu Li, Caishuang Huang, Songyang Gao, Yilong Wu, Qi Zhang, Tao Gui, Xuanjing Huang
分类: cs.CL, cs.AI
发布日期: 2024-02-16 (更新: 2024-08-16)
备注: Accepted by ACL 2024 Main Conference
期刊: Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics 2024 (Volume 1: Long Papers)
🔗 代码/项目: GITHUB
💡 一句话要点
提出ToolSword框架以揭示工具学习中LLMs的安全问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 工具学习 安全问题 框架设计 实验评估
📋 核心要点
- 现有研究主要关注如何利用工具增强LLMs的能力，但对安全问题的关注不足，导致潜在风险被忽视。
- 本文提出ToolSword框架，系统性地识别和分析LLMs在工具学习中的安全问题，涵盖多个阶段的安全场景。
- 实验结果显示，当前多种LLMs在工具学习中面临严重的安全挑战，尤其是在处理有害输入和提供反馈方面。
📝 摘要（中文）
工具学习被广泛认为是将大型语言模型（LLMs）应用于现实场景的基础方法。然而，当前研究主要集中在利用工具增强LLMs的能力，往往忽视了与其应用相关的新兴安全问题。为填补这一空白，本文提出了ToolSword框架，专注于深入调查与LLMs在工具学习中相关的安全问题。ToolSword明确了六种安全场景，包括输入阶段的恶意查询和越狱攻击、执行阶段的噪声误导和风险提示，以及输出阶段的有害反馈和错误冲突。对11个开源和闭源LLMs的实验表明，工具学习中存在持久的安全挑战，例如处理有害查询、使用风险工具和提供有害反馈，甚至GPT-4也受到影响。此外，我们还进行了进一步研究，以促进工具学习安全的研究。
🔬 方法详解
问题定义：本文旨在解决大型语言模型（LLMs）在工具学习中面临的安全问题，现有方法未能充分考虑这些安全隐患，导致潜在的风险和误用。
核心思路：ToolSword框架通过系统性地识别和分析LLMs在工具学习中的安全场景，提供了一种全面的方法来评估和改善安全性，确保LLMs在实际应用中的可靠性。
技术框架：ToolSword框架分为三个主要阶段：输入阶段（识别恶意查询和越狱攻击）、执行阶段（处理噪声误导和风险提示）以及输出阶段（分析有害反馈和错误冲突）。每个阶段都有相应的安全场景和评估指标。
关键创新：ToolSword的创新之处在于系统性地定义了六种安全场景，填补了现有研究中对工具学习安全问题的关注空白，提供了一个全面的安全评估框架。
关键设计：在实验中，ToolSword框架使用了多种开源和闭源LLMs进行评估，设计了特定的输入和输出测试用例，以模拟真实场景中的安全挑战。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ToolSword框架能够有效识别多种安全问题，尤其是在处理有害查询和提供反馈方面。即使是先进的模型如GPT-4，也显示出在工具学习中存在显著的安全隐患，强调了该框架的必要性和有效性。
🎯 应用场景
ToolSword框架的潜在应用领域包括智能助手、自动化工具和其他依赖于大型语言模型的系统。通过识别和解决安全问题，该框架能够提升这些系统在实际应用中的安全性和可靠性，减少误用和潜在风险。
📄 摘要（原文）
Tool learning is widely acknowledged as a foundational approach or deploying large language models (LLMs) in real-world scenarios. While current research primarily emphasizes leveraging tools to augment LLMs, it frequently neglects emerging safety considerations tied to their application. To fill this gap, we present ToolSword, a comprehensive framework dedicated to meticulously investigating safety issues linked to LLMs in tool learning. Specifically, ToolSword delineates six safety scenarios for LLMs in tool learning, encompassing malicious queries and jailbreak attacks in the input stage, noisy misdirection and risky cues in the execution stage, and harmful feedback and error conflicts in the output stage. Experiments conducted on 11 open-source and closed-source LLMs reveal enduring safety challenges in tool learning, such as handling harmful queries, employing risky tools, and delivering detrimental feedback, which even GPT-4 is susceptible to. Moreover, we conduct further studies with the aim of fostering research on tool learning safety. The data is released in https://github.com/Junjie-Ye/ToolSword.