CyberSecEval 2: A Wide-Ranging Cybersecurity Evaluation Suite for Large Language Models
作者: Manish Bhatt, Sahana Chennabasappa, Yue Li, Cyrus Nikolaidis, Daniel Song, Shengye Wan, Faizan Ahmad, Cornelius Aschermann, Yaohui Chen, Dhaval Kapil, David Molnar, Spencer Whitman, Joshua Saxe
分类: cs.CR, cs.LG
发布日期: 2024-04-19
💡 一句话要点
提出CyberSecEval 2以评估大型语言模型的网络安全风险
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 网络安全 大型语言模型 提示注入 代码解释器滥用 安全性评估 FRR量化 BenchmarkName
📋 核心要点
- 现有的评估工具无法全面衡量大型语言模型在网络安全方面的风险，尤其是在提示注入和代码解释器滥用方面。
- 本文提出BenchmarkName基准测试，专注于量化LLM的安全风险，并引入安全性与实用性的权衡概念。
- 实验结果显示，所有测试的LLM在提示注入测试中成功率为26%至41%，并且具有编码能力的模型在漏洞利用任务中表现更佳。
📝 摘要（中文）
大型语言模型（LLMs）引入了新的安全风险，但目前缺乏全面的评估工具来衡量和降低这些风险。本文提出了BenchmarkName，一个新颖的基准测试，用于量化LLM的安全风险和能力。我们引入了两个新的测试领域：提示注入和代码解释器滥用。对多种最先进的LLM进行了评估，结果显示，攻击风险的控制仍然是一个未解决的问题；例如，所有测试模型在提示注入测试中成功率在26%到41%之间。此外，我们引入了安全性与实用性的权衡，发现为了拒绝不安全的提示，LLM可能会错误地拒绝回答良性提示，从而降低实用性。我们提出使用错误拒绝率（FRR）来量化这一权衡，并展示了如何通过新测试集来量化网络攻击的有用性风险。最后，我们量化了LLM在自动化核心网络安全任务中的效用，发现具有编码能力的模型表现优于没有的模型，但仍需进一步研究以提高其漏洞利用生成能力。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在网络安全领域的评估不足，尤其是针对提示注入和代码解释器滥用的风险评估。现有方法缺乏全面性，无法有效量化这些风险。
核心思路：论文提出BenchmarkName基准测试，通过引入新的测试领域和量化安全性与实用性之间的权衡，来全面评估LLM的安全能力。
技术框架：整体架构包括风险评估模块、提示注入测试模块和代码解释器滥用测试模块。每个模块针对特定的安全风险进行评估，并通过新测试集量化FRR。
关键创新：最重要的创新在于引入了安全性与实用性的权衡概念，并通过FRR量化这一权衡，提供了新的评估视角。与现有方法相比，BenchmarkName更全面且具有针对性。
关键设计：在设计中，采用了多种测试集来评估不同类型的安全风险，并设置了特定的参数以确保测试的有效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所有测试的LLM在提示注入测试中的成功率介于26%至41%之间，显示出攻击风险控制的挑战。同时，具有编码能力的模型在漏洞利用任务中表现优于其他模型，表明其在网络安全领域的潜力。
🎯 应用场景
该研究的潜在应用领域包括网络安全评估、LLM的安全性改进以及相关技术的开发。通过量化LLM的安全风险，企业和研究机构可以更好地理解和应对这些风险，从而提升整体网络安全水平。未来，随着LLM技术的不断发展，BenchmarkName可能成为评估和改进LLM安全性的标准工具。
📄 摘要（原文）
Large language models (LLMs) introduce new security risks, but there are few comprehensive evaluation suites to measure and reduce these risks. We present BenchmarkName, a novel benchmark to quantify LLM security risks and capabilities. We introduce two new areas for testing: prompt injection and code interpreter abuse. We evaluated multiple state-of-the-art (SOTA) LLMs, including GPT-4, Mistral, Meta Llama 3 70B-Instruct, and Code Llama. Our results show that conditioning away risk of attack remains an unsolved problem; for example, all tested models showed between 26% and 41% successful prompt injection tests. We further introduce the safety-utility tradeoff: conditioning an LLM to reject unsafe prompts can cause the LLM to falsely reject answering benign prompts, which lowers utility. We propose quantifying this tradeoff using False Refusal Rate (FRR). As an illustration, we introduce a novel test set to quantify FRR for cyberattack helpfulness risk. We find many LLMs able to successfully comply with "borderline" benign requests while still rejecting most unsafe requests. Finally, we quantify the utility of LLMs for automating a core cybersecurity task, that of exploiting software vulnerabilities. This is important because the offensive capabilities of LLMs are of intense interest; we quantify this by creating novel test sets for four representative problems. We find that models with coding capabilities perform better than those without, but that further work is needed for LLMs to become proficient at exploit generation. Our code is open source and can be used to evaluate other LLMs.