When "Competency" in Reasoning Opens the Door to Vulnerability: Jailbreaking LLMs via Novel Complex Ciphers

📄 arXiv: 2402.10601v5 📥 PDF

作者: Divij Handa, Zehua Zhang, Amir Saeidi, Shrinidhi Kumbhar, Md Nayem Uddin, Aswin RRV, Chitta Baral

分类: cs.CL, cs.AI

发布日期: 2024-02-16 (更新: 2025-10-14)

备注: Published in Reliable ML from Unreliable Data workshop @ NeurIPS 2025

💡 一句话要点

提出ACE和LACE方法以解决LLM的安全漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 安全性研究 越狱攻击 自定义加密 复杂密码

📋 核心要点

  1. 现有的LLM安全研究主要针对自然语言和常见密码攻击，未能有效应对新型复杂密码的威胁。
  2. 本文提出了ACE和LACE两种新型越狱攻击方法，通过自定义加密技术来编码恶意查询，增强攻击的复杂性。
  3. 实验结果表明，LLM在解码复杂密码的能力与其安全性之间存在显著的权衡，成功率显著提升。

📝 摘要（中文）

近年来，大型语言模型（LLM）的安全性研究主要集中在减轻自然语言或常见密码（如Base64）攻击的影响。然而，本文揭示了一种悖论性脆弱性：随着LLM推理能力的提升，它们意外地变得更容易受到新型越狱攻击的影响。增强的推理能力使LLM能够解读复杂指令和解码用户定义的复杂密码，从而产生可利用的安全漏洞。为研究这一脆弱性，本文提出了使用自定义加密的攻击（ACE）技术，该技术通过新型密码对恶意查询进行编码。进一步扩展ACE，本文引入了分层自定义加密攻击（LACE），通过多层密码增强攻击复杂性。此外，本文开发了CipherBench，一个用于评估LLM解码加密良性文本准确性的基准。实验结果显示，LLM在解码密码方面能力越强，越容易受到LACE攻击，gpt-oss-20b的成功率从ACE的60%提升至LACE的72%。

🔬 方法详解

问题定义：本文旨在解决LLM在推理能力提升后，因解码复杂用户定义密码而导致的安全漏洞问题。现有方法未能有效应对新型复杂密码攻击，存在安全隐患。

核心思路：论文的核心解决思路是通过引入自定义加密的攻击（ACE）和分层自定义加密攻击（LACE），利用LLM的推理能力来解码复杂的恶意查询，从而揭示其安全性缺陷。

技术框架：整体架构包括两个主要模块：ACE和LACE。ACE通过单层密码对恶意查询进行编码，而LACE则通过多层密码增强攻击的复杂性，形成更具挑战性的解码任务。

关键创新：最重要的技术创新点在于提出了ACE和LACE两种新型攻击方法，利用LLM的推理能力作为攻击的基础，显著提升了攻击的成功率，与现有方法相比具有本质区别。

关键设计：在设计中，ACE和LACE的参数设置包括密码的复杂性和层数，损失函数则关注解码的准确性和攻击的成功率，网络结构则基于现有的LLM架构进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，gpt-oss-20b在ACE攻击下的成功率为60%，而在LACE攻击下提升至72%，表明LLM在解码复杂密码方面的能力与其安全性之间存在显著的权衡。这一发现强调了LLM在面对新型攻击时的脆弱性。

🎯 应用场景

该研究的潜在应用领域包括LLM的安全性评估和增强，尤其是在金融、医疗等对安全性要求极高的行业。通过识别和修复这些脆弱性，可以提高LLM在实际应用中的安全性和可靠性，防止潜在的恶意攻击。

📄 摘要（原文）

Recent advancements in Large Language Model (LLM) safety have primarily focused on mitigating attacks crafted in natural language or common ciphers (e.g. Base64), which are likely integrated into newer models' safety training. However, we reveal a paradoxical vulnerability: as LLMs advance in reasoning, they inadvertently become more susceptible to novel jailbreaking attacks. Enhanced reasoning enables LLMs to interpret complex instructions and decode complex user-defined ciphers, creating an exploitable security gap. To study this vulnerability, we introduce Attacks using Custom Encryptions (ACE), a jailbreaking technique that encodes malicious queries with novel ciphers. Extending ACE, we introduce Layered Attacks using Custom Encryptions (LACE), which applies multi-layer ciphers to amplify attack complexity. Furthermore, we develop CipherBench, a benchmark designed to evaluate LLMs' accuracy in decoding encrypted benign text. Our experiments reveal a critical trade-off: LLMs that are more capable of decoding ciphers are more vulnerable to LACE, with success rates on gpt-oss-20b escalating from 60% under ACE to 72% with LACE. These findings highlight a critical insight: as LLMs become more adept at deciphering complex user ciphers--many of which cannot be preemptively included in safety training--they become increasingly exploitable.