Behind the Mask: Benchmarking Camouflaged Jailbreaks in Large Language Models

📄 arXiv: 2509.05471v1 📥 PDF

作者: Youjia Zheng, Mohammad Zandsalimy, Shanu Sushmita

分类: cs.CR, cs.AI

发布日期: 2025-09-05

💡 一句话要点

提出伪装越狱提示基准测试，评估大语言模型在隐蔽对抗攻击下的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对抗攻击 伪装越狱 安全评估 基准测试

📋 核心要点

  1. 现有大语言模型安全机制难以有效防御伪装越狱攻击，该攻击通过嵌入恶意意图于良性语言中绕过防御。
  2. 论文核心在于构建一个包含良性和恶意伪装提示的基准数据集，并提出多维度评估框架来衡量LLM的安全性。
  3. 实验表明，LLM在面对伪装越狱提示时，安全性和性能显著下降，凸显了现有防御策略的不足。

📝 摘要（中文）

大型语言模型（LLMs）越来越容易受到一种名为伪装越狱的复杂对抗性提示攻击的影响。这种方法将恶意意图嵌入到看似良性的语言中，以规避现有的安全机制。与公开的攻击不同，这些微妙的提示利用了上下文的模糊性和语言的灵活性，对当前的防御系统构成了重大挑战。本文研究了伪装越狱提示的构建和影响，强调了它们的欺骗性特征以及传统基于关键词的检测方法的局限性。我们引入了一个新的基准数据集，即伪装越狱提示，其中包含500个精心策划的示例（400个有害提示和100个良性提示），旨在严格测试LLM安全协议。此外，我们提出了一个多方面的评估框架，该框架从七个维度衡量危害性：安全意识、技术可行性、实施保障、潜在危害、教育价值、内容质量和合规性得分。我们的研究结果揭示了LLM行为的鲜明对比：虽然模型在良性输入下表现出较高的安全性和内容质量，但在面对伪装越狱尝试时，其性能和安全性显著下降。这种差异突显了一种普遍存在的漏洞，强调迫切需要更细致和自适应的安全策略，以确保LLM在实际应用中的负责任和稳健部署。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLMs）在面对伪装越狱攻击时存在的安全漏洞问题。现有的基于关键词检测等安全机制难以有效识别和防御这种隐蔽的对抗性攻击，因为攻击者将恶意意图隐藏在看似无害的语言中，利用了语言的模糊性和灵活性。这种攻击方式使得传统的防御手段失效，导致LLMs可能生成有害或不当的内容。

核心思路：论文的核心思路是构建一个包含大量伪装越狱提示的基准数据集，并设计一个多维度的评估框架，以系统地评估LLMs在面对此类攻击时的安全性能。通过这种方式，可以更全面地了解LLMs的安全漏洞，并为开发更有效的防御策略提供依据。论文强调了伪装越狱提示的欺骗性，并指出需要更细致和自适应的安全策略。

技术框架：论文的技术框架主要包括两个部分：一是伪装越狱提示基准数据集的构建，二是多维度评估框架的设计。基准数据集包含400个有害提示和100个良性提示，这些提示经过精心设计，旨在测试LLMs的安全协议。评估框架从七个维度衡量危害性，包括安全意识、技术可行性、实施保障、潜在危害、教育价值、内容质量和合规性得分。

关键创新：论文的关键创新在于提出了一个专门针对伪装越狱攻击的基准数据集和一个多维度的评估框架。与以往的研究不同，该论文关注的是隐蔽的对抗性攻击，而不是公开的攻击。通过构建包含大量伪装提示的数据集，并从多个维度评估LLMs的安全性，该论文能够更全面地了解LLMs的安全漏洞，并为开发更有效的防御策略提供依据。

关键设计：在基准数据集的构建方面，论文作者精心设计了各种伪装越狱提示，以模拟真实的攻击场景。这些提示利用了语言的模糊性和灵活性，使得LLMs难以识别其中的恶意意图。在评估框架的设计方面，论文作者选择了七个关键维度来衡量危害性，这些维度涵盖了LLMs安全性的各个方面。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于数据集构建和评估指标选择的范畴。

📊 实验亮点

实验结果表明，LLM在面对良性输入时表现出较高的安全性和内容质量，但在面对伪装越狱提示时，其性能和安全性显著下降。这一结果突显了现有LLM在面对隐蔽对抗性攻击时的脆弱性，并强调了开发更有效的防御策略的必要性。具体的性能下降幅度未在摘要中给出，需要在论文正文中查找。

🎯 应用场景

该研究成果可应用于提升大语言模型的安全性，尤其是在金融、医疗、法律等对安全性要求极高的领域。通过使用该基准测试集，开发者可以评估和改进其模型的防御能力，降低模型被恶意利用的风险。未来，该研究可以推动开发更鲁棒、更安全的LLM，从而促进人工智能技术的负责任发展。

📄 摘要（原文）

Large Language Models (LLMs) are increasingly vulnerable to a sophisticated form of adversarial prompting known as camouflaged jailbreaking. This method embeds malicious intent within seemingly benign language to evade existing safety mechanisms. Unlike overt attacks, these subtle prompts exploit contextual ambiguity and the flexible nature of language, posing significant challenges to current defense systems. This paper investigates the construction and impact of camouflaged jailbreak prompts, emphasizing their deceptive characteristics and the limitations of traditional keyword-based detection methods. We introduce a novel benchmark dataset, Camouflaged Jailbreak Prompts, containing 500 curated examples (400 harmful and 100 benign prompts) designed to rigorously stress-test LLM safety protocols. In addition, we propose a multi-faceted evaluation framework that measures harmfulness across seven dimensions: Safety Awareness, Technical Feasibility, Implementation Safeguards, Harmful Potential, Educational Value, Content Quality, and Compliance Score. Our findings reveal a stark contrast in LLM behavior: while models demonstrate high safety and content quality with benign inputs, they exhibit a significant decline in performance and safety when confronted with camouflaged jailbreak attempts. This disparity underscores a pervasive vulnerability, highlighting the urgent need for more nuanced and adaptive security strategies to ensure the responsible and robust deployment of LLMs in real-world applications.