Foot In The Door: Understanding Large Language Model Jailbreaking via Cognitive Psychology

📄 arXiv: 2402.15690v1 📥 PDF

作者: Zhenhua Wang, Wei Xie, Baosheng Wang, Enze Wang, Zhiwen Gui, Shuoyoucheng Ma, Kai Chen

分类: cs.CL, cs.AI

发布日期: 2024-02-24

💡 一句话要点

提出基于心理学的黑箱越狱方法以破解大型语言模型的安全性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 认知一致性理论 心理学 黑箱方法 安全性评估 多步提示

📋 核心要点

  1. 现有方法在应对大型语言模型的越狱攻击时，缺乏对其内在决策机制的深入理解，导致安全性不足。
  2. 论文提出了一种基于认知一致性理论的黑箱越狱方法，通过多步渐进提示引导模型实现错误方向的认知协调。
  3. 在8个先进的LLMs上进行实验，验证了该方法的有效性，平均成功率达到83.9%，显示出显著的提升。

📝 摘要（中文）

大型语言模型（LLMs）逐渐成为人们获取新知识的主要途径。然而，攻击者可以通过越狱攻击突破模型的安全保护，获取受限信息。尽管已有研究揭示了当前LLMs在面对越狱攻击时的脆弱性，但对其内在决策机制的理解仍显不足。本文基于认知一致性理论，提出了一种自动化黑箱越狱方法，利用“脚踏实地”技术逐步引导模型回答有害问题。通过在8个先进LLMs上进行评估，取得了83.9%的平均成功率，为理解LLMs的决策逻辑提供了心理学视角。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在面对越狱攻击时的脆弱性，现有方法未能有效理解和应对模型的内在决策机制。

核心思路：论文的核心思路是利用认知一致性理论，通过引导模型在错误方向上实现认知协调，从而使其逐步接受有害问题。这样的设计旨在通过心理学原理来破解模型的安全性。

技术框架：整体架构包括多个阶段：首先，通过初步提示引导模型产生对越狱的初步接受；然后，逐步增加提示的复杂性，最终诱导模型回答有害问题。主要模块包括提示生成模块、模型响应模块和评估模块。

关键创新：最重要的技术创新点在于提出了“脚踏实地”技术作为越狱方法的核心，区别于以往直接攻击模型的方式，强调了心理学在模型决策中的作用。

关键设计：在参数设置上，采用了多步提示的策略，损失函数设计为鼓励模型逐步接受有害信息，网络结构则保持与现有LLMs一致，以便于直接应用。实验中对提示的设计进行了细致调整，以确保有效引导模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的黑箱越狱方法在8个先进的LLMs上实现了平均83.9%的成功率，显著高于以往方法。这一结果不仅验证了方法的有效性，还为理解LLMs的内在逻辑提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括网络安全、人工智能伦理和模型安全性评估。通过深入理解LLMs的决策机制，可以为开发更安全的模型提供理论支持，减少潜在的安全风险，促进AI技术的健康发展。

📄 摘要（原文）

Large Language Models (LLMs) have gradually become the gateway for people to acquire new knowledge. However, attackers can break the model's security protection ("jail") to access restricted information, which is called "jailbreaking." Previous studies have shown the weakness of current LLMs when confronted with such jailbreaking attacks. Nevertheless, comprehension of the intrinsic decision-making mechanism within the LLMs upon receipt of jailbreak prompts is noticeably lacking. Our research provides a psychological explanation of the jailbreak prompts. Drawing on cognitive consistency theory, we argue that the key to jailbreak is guiding the LLM to achieve cognitive coordination in an erroneous direction. Further, we propose an automatic black-box jailbreaking method based on the Foot-in-the-Door (FITD) technique. This method progressively induces the model to answer harmful questions via multi-step incremental prompts. We instantiated a prototype system to evaluate the jailbreaking effectiveness on 8 advanced LLMs, yielding an average success rate of 83.9%. This study builds a psychological perspective on the explanatory insights into the intrinsic decision-making logic of LLMs.