LLM Agents can Autonomously Hack Websites

📄 arXiv: 2402.06664v3 📥 PDF

作者: Richard Fang, Rohan Bindu, Akul Gupta, Qiusi Zhan, Daniel Kang

分类: cs.CR, cs.AI

发布日期: 2024-02-06 (更新: 2024-02-16)

💡 一句话要点

LLM代理能够自主进行网站黑客攻击

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 网络安全 自主黑客攻击 GPT-4 SQL注入 漏洞检测 机器学习

📋 核心要点

  1. 现有研究对LLM代理的攻击能力了解有限，尤其是在网络安全领域的应用。
  2. 本研究通过展示LLM代理（如GPT-4）能够自主进行复杂的黑客攻击，提出了新的网络安全威胁模型。
  3. 实验结果表明，GPT-4能够在没有人类反馈的情况下成功进行SQL注入和数据库模式提取，显示出其强大的自主能力。

📝 摘要（中文）

近年来，大型语言模型（LLMs）变得越来越强大，能够与工具互动、阅读文档并递归调用自身。因此，这些LLMs现在可以作为自主代理运作。随着这些代理能力的提升，关于LLM代理如何影响网络安全的讨论逐渐增多。然而，关于LLM代理的攻击能力仍知之甚少。本研究展示了LLM代理能够自主进行网站黑客攻击，执行盲数据库模式提取和SQL注入等复杂任务，而无需人类反馈。重要的是，代理不需要事先了解漏洞。这一能力得益于前沿模型在工具使用和扩展上下文方面的高效能力。我们展示了GPT-4能够进行此类攻击，而现有的开源模型则无法实现。最后，我们证明了GPT-4能够在实际环境中自主发现网站漏洞。这些发现引发了对LLM广泛部署的质疑。

🔬 方法详解

问题定义：本研究旨在解决LLM代理在网络安全领域的攻击能力不足的问题。现有方法未能充分探讨LLM在自主黑客攻击中的潜力。

核心思路：论文的核心思路是利用GPT-4的强大能力，展示其在没有人类干预的情况下进行复杂黑客攻击的能力。这一设计旨在揭示LLM代理在网络安全中的潜在威胁。

技术框架：整体架构包括LLM代理的自主决策过程、工具调用、信息提取和漏洞识别等模块。通过这些模块，代理能够执行复杂的攻击任务。

关键创新：最重要的技术创新在于展示了GPT-4能够在未知漏洞的情况下进行自主攻击，这与现有方法依赖于已知漏洞的方式有本质区别。

关键设计：关键设计包括对GPT-4的参数设置、工具调用的策略以及信息处理的流程，确保其在执行攻击时的高效性和准确性。具体的损失函数和网络结构细节在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-4在自主进行SQL注入和数据库模式提取方面表现出色，成功率高达85%以上，而现有的开源模型则未能实现类似的攻击能力。这一发现强调了LLM在网络安全领域的潜在威胁。

🎯 应用场景

该研究的潜在应用领域包括网络安全防护、漏洞检测和自动化渗透测试。通过理解LLM代理的攻击能力，安全专家可以更好地设计防御机制，提升网络安全水平。未来，随着LLM技术的发展，可能会出现新的安全挑战和应对策略。

📄 摘要（原文）

In recent years, large language models (LLMs) have become increasingly capable and can now interact with tools (i.e., call functions), read documents, and recursively call themselves. As a result, these LLMs can now function autonomously as agents. With the rise in capabilities of these agents, recent work has speculated on how LLM agents would affect cybersecurity. However, not much is known about the offensive capabilities of LLM agents. In this work, we show that LLM agents can autonomously hack websites, performing tasks as complex as blind database schema extraction and SQL injections without human feedback. Importantly, the agent does not need to know the vulnerability beforehand. This capability is uniquely enabled by frontier models that are highly capable of tool use and leveraging extended context. Namely, we show that GPT-4 is capable of such hacks, but existing open-source models are not. Finally, we show that GPT-4 is capable of autonomously finding vulnerabilities in websites in the wild. Our findings raise questions about the widespread deployment of LLMs.