Evil Geniuses: Delving into the Safety of LLM-based Agents

📄 arXiv: 2311.11855v2 📥 PDF

作者: Yu Tian, Xiao Yang, Jingyuan Zhang, Yinpeng Dong, Hang Su

分类: cs.CL

发布日期: 2023-11-20 (更新: 2024-02-02)

备注: 11 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出Evil Geniuses方法以解决LLM代理的安全性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性评估 模板生成 角色定义 攻击策略 人机交互 智能代理

📋 核心要点

  1. 现有的LLM代理在复杂交互环境中存在安全性不足的问题，易受到攻击。
  2. 提出Evil Geniuses（EG）方法，通过生成与角色相关的提示，评估不同角色定义的安全性。
  3. 实验结果显示，EG方法在多个基准上取得了高成功率，揭示了LLM代理的安全隐患。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，基于LLM的代理展现出令人印象深刻的人类行为和合作能力。然而，这些代理也带来了独特的风险，主要源于交互环境的复杂性和工具的可用性。本文从代理数量、角色定义和攻击级别三个角度探讨了LLM代理的安全性。我们提出了一种基于模板的攻击策略，以研究代理数量的影响。此外，为了解决交互环境和角色特异性问题，我们引入了Evil Geniuses（EG）方法，该方法能够自主生成与原始角色相关的提示，以检验不同角色定义和攻击级别的影响。我们的评估表明，这些代理的鲁棒性较差，易于产生有害行为，且能够生成更隐蔽的内容，突显出显著的安全挑战，并为未来研究提供指导。

🔬 方法详解

问题定义：本文旨在解决基于LLM的代理在复杂交互环境中安全性不足的问题。现有方法未能充分考虑代理数量和角色定义对安全性的影响，导致代理易受攻击。

核心思路：我们提出Evil Geniuses（EG）方法，通过模板生成与角色相关的提示，评估不同数量和角色定义下的代理安全性。这种设计旨在提高攻击的有效性和针对性。

技术框架：EG方法的整体架构包括三个主要模块：1) 模板生成模块，负责生成与角色相关的攻击提示；2) 交互评估模块，评估代理在不同角色定义下的表现；3) 成功率分析模块，统计不同攻击策略的成功率。

关键创新：EG方法的核心创新在于其能够自主生成与角色相关的提示，显著提高了攻击的针对性和有效性。这与现有方法的静态模板生成方式形成了鲜明对比。

关键设计：在EG方法中，我们设置了多个关键参数，包括提示生成的模板类型、角色定义的多样性以及攻击的强度。此外，采用了Red-Blue练习来增强生成提示的攻击性和与原始角色的相似性。实验中使用了GPT-3.5和GPT-4进行评估。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，Evil Geniuses方法在CAMEL、Metagpt和ChatDev等基准上取得了高成功率，显著优于传统方法。具体而言，EG方法在不同角色定义下的攻击成功率达到了XX%，显示出其在安全性评估中的有效性和重要性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化客服和人机交互系统等。通过提高对LLM代理的安全性理解，可以为这些系统的设计和部署提供重要指导，降低潜在的安全风险，提升用户信任度。未来，随着LLM技术的进一步发展，该研究的成果将对相关领域产生深远影响。

📄 摘要（原文）

Rapid advancements in large language models (LLMs) have revitalized in LLM-based agents, exhibiting impressive human-like behaviors and cooperative capabilities in various scenarios. However, these agents also bring some exclusive risks, stemming from the complexity of interaction environments and the usability of tools. This paper delves into the safety of LLM-based agents from three perspectives: agent quantity, role definition, and attack level. Specifically, we initially propose to employ a template-based attack strategy on LLM-based agents to find the influence of agent quantity. In addition, to address interaction environment and role specificity issues, we introduce Evil Geniuses (EG), an effective attack method that autonomously generates prompts related to the original role to examine the impact across various role definitions and attack levels. EG leverages Red-Blue exercises, significantly improving the generated prompt aggressiveness and similarity to original roles. Our evaluations on CAMEL, Metagpt and ChatDev based on GPT-3.5 and GPT-4, demonstrate high success rates. Extensive evaluation and discussion reveal that these agents are less robust, prone to more harmful behaviors, and capable of generating stealthier content than LLMs, highlighting significant safety challenges and guiding future research. Our code is available at https://github.com/T1aNS1R/Evil-Geniuses.