Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

📄 arXiv: 2607.00481v1 📥 PDF

作者: Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia

分类: cs.CR, cs.AI

发布日期: 2026-07-01

🔗 代码/项目: GITHUB

💡 一句话要点

提出SMT框架以解决大型语言模型的安全漏洞问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 越狱攻击 安全性 函数调用 黑箱攻击 模拟审核 多轮交互

📋 核心要点

  1. 现有方法主要集中在提示级别的攻击，未能有效应对状态保持的函数调用环境中的结构性漏洞。
  2. 论文提出SMT框架，通过模拟审核轨迹构建多轮交互，利用架构缺陷诱导有害输出。
  3. 实验证明，SMT在五个不同提供商的商业LLM上，攻击成功率和HarmScore均显著高于现有方法。

📝 摘要（中文）

越狱攻击仍然是大型语言模型（LLMs）安全部署的重大威胁。以往的研究主要集中在提示级别的攻击和防御，但我们表明这种以提示为中心的范式忽视了状态保持的函数调用环境中的结构性漏洞。我们提出了一种基于模拟审核轨迹的黑箱攻击框架SMT，构建多轮轨迹以模拟合法的审核工作流程，从而利用架构缺陷诱导有害生成。大量实证评估表明，SMT在多个商业LLM上表现出色，攻击成功率和HarmScore显著高于现有基线，强调了仅依赖提示级别清理的不足。

🔬 方法详解

问题定义：论文要解决的问题是大型语言模型在状态保持的函数调用环境中存在的结构性漏洞，现有方法未能有效防御这些漏洞，导致安全风险增加。

核心思路：论文的核心解决思路是通过SMT框架构建多轮交互轨迹，模拟合法的审核工作流程，从而诱导模型生成有害内容。这样的设计旨在利用模型架构中的缺陷，分散攻击意图。

技术框架：整体架构包括多个模块：首先，构建模拟的审核轨迹；其次，利用伪造的审核框架进行红队测试；最后，通过反馈机制逐步削弱模型的安全约束，诱导有害输出。

关键创新：最重要的技术创新点在于SMT框架的提出，它突破了传统的提示级别攻击，利用多轮交互和模拟审核的方式，显著扩大了攻击面。

关键设计：关键设计包括对多轮交互的构建、反馈机制的设计，以及如何处理模型的安全拒绝反馈，将其视为执行失败，从而进行模型的逐步优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SMT在五个不同提供商的商业LLM上，攻击成功率和HarmScore均显著高于现有基线，且所需查询次数几乎最小化，表现出色。这一发现强调了仅依赖提示级别清理的不足，呼吁在模型设计中考虑上下文感知的验证机制。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性提升，尤其是在需要函数调用和状态保持的复杂应用场景中。通过改进模型的安全防护机制，可以有效降低潜在的安全风险，确保模型在实际应用中的可靠性和安全性。未来，该研究可能推动更为安全的AI系统设计和开发。

📄 摘要（原文）

Jailbreak attacks remain a critical threat to the safe deployment of large language models (LLMs). While prior work has primarily studied attacks and defenses at the prompt level, we show that this prompt-centric paradigm overlooks a structural vulnerability in stateful, function-calling environments. In such applications, developer-defined schemas, structured arguments, and untrusted tool outputs are interleaved into a single shared model context. This architecture expands the attack surface by blurring the boundary between trusted control logic and untrusted data, allowing adversarial intent to be distributed across a multi-turn execution path. We exploit this architectural flaw through SMT, a black-box attack framework based on Simulated Moderation Traces. Departing from purely prompt-based interactions, SMT constructs a multi-turn trajectory that simulates a legitimate moderation-auditing workflow. Within this trajectory, a fabricated moderation frame leverages red-team testing as a pretext to elicit harmful generations. The subsequent validation feedback treats safety refusals as execution failures, prompting refinements that gradually weaken the model's safety constraints and ultimately trigger harmful outputs. Extensive empirical evaluations on prominent commercial LLMs from five different providers across two standardized safety benchmarks show that SMT consistently achieves the highest average attack success rate and HarmScore while requiring a near-minimal number of queries, substantially outperforming existing baselines. These findings demonstrate that prompt-level sanitization alone is fundamentally insufficient for defending tool-enabled LLM systems and highlight the urgent need for context-aware validation across schemas, arguments, tool outputs, and accumulated conversation state. The code is available at https://github.com/liujlong27/SMT.