Can LLMs Reliably Self-Report Adversarial Prefills, and How?
作者: Quang Minh Nguyen, Uzair Ahmed, Taegyoon Kim
分类: cs.CL
发布日期: 2026-06-22
💡 一句话要点
探讨LLMs在安全上下文中自我报告对抗性预填的可靠性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 对抗性攻击 自我报告 安全性评估 微调方法 内省能力 模型可靠性
📋 核心要点
- 核心问题：现有的LLMs在识别自身受对抗性预填攻击的输出时表现不佳，可靠性不足。
- 方法要点：研究通过正交化模型权重和不同的微调方法，探讨内省信号的来源及其影响。
- 实验或效果：实验结果显示，模型在预填响应的意图声称率仅为27.3%，且微调方法未能有效提升对抗性预填的识别能力。
📝 摘要（中文）
先前的研究表明，大型语言模型（LLMs）在良性任务上展现了内省能力。本文扩展了这一问题至安全上下文，考察模型识别自身先前响应是否受到对抗性预填攻击的可靠性。研究发现，十个开放权重的指令调优LLMs（3B到70B）在四个安全基准测试中，均未能可靠识别自身受损输出，模型在预填响应上的意图声称平均仅为27.3%。内省信号主要源于安全和拒绝相关的推理。通过对模型权重进行正交化处理，拒绝方向与自然输出的声称率差距几乎消失，尽管这一方向并非唯一的中介。信号还依赖于探测方式，内部意图与外部篡改的提问框架会引发不同的响应。我们测试了三种LoRA微调方法（SFT、GRPO、DPO），结果显示所有方法在8B到27B的每个模型上均扩大了意图探测差距，但对篡改探测的转移效果不佳，反而在大多数模型上提高了对抗性预填的攻击成功率，形成部分缓解。这些发现揭示了安全上下文中观察到的内省信号的机制，并突显了LLM自我报告可靠性中的风险。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在安全上下文中自我报告对抗性预填攻击的可靠性问题。现有方法未能有效识别模型自身受损的输出，导致安全隐患。
核心思路：论文提出通过正交化模型权重和不同的微调方法，探讨模型在面对对抗性预填时的内省能力及其信号来源。这样的设计旨在揭示模型在安全任务中的潜在弱点和内省能力的局限性。
技术框架：研究涉及十个开放权重的指令调优LLMs，使用四个安全基准进行评估。通过不同的探测方式（如内部意图与外部篡改）来分析模型的响应差异，同时测试三种LoRA微调方法（SFT、GRPO、DPO）。
关键创新：最重要的技术创新在于通过正交化处理模型权重，显著缩小了预填与自然输出的意图声称率差距，揭示了内省信号的复杂性。与现有方法相比，本文强调了探测方式对模型响应的影响。
关键设计：在实验中，模型的微调方法和探测方式是关键设计因素。使用的损失函数和网络结构在不同模型间有所不同，且微调方法的效果在不同模型上表现出差异性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，十个LLMs在识别自身受对抗性预填攻击的输出时，意图声称率仅为27.3%。三种LoRA微调方法在8B到27B的模型上均扩大了意图探测差距，但未能有效提升对抗性预填的识别能力，反而在大多数模型上提高了攻击成功率。
🎯 应用场景
该研究的潜在应用场景包括安全性评估、对抗性攻击检测以及LLMs在敏感任务中的使用。通过提高模型对自身输出的识别能力，可以增强其在实际应用中的安全性和可靠性，尤其是在涉及用户隐私和安全的领域。
📄 摘要（原文）
Prior work shows that large language models (LLMs) exhibit introspective capability on benign tasks. We extend the question to safety contexts and examine how reliably a model can recognize that its own prior response was elicited by an adversarial prefill attack. Across ten open-weight instruction-tuned LLMs (3B to 70B) and four safety benchmarks, no model reliably recognizes its own compromised outputs, with models claiming intent on prefilled responses at an average rate of $27.3\%$. Introspective signal stems largely from safety- and refusal-related reasoning. Orthogonalizing models' weights against the refusal direction collapses the gap between claiming rates on prefilled and natural outputs to near zero, though the direction is not its unique mediator. The signal is also probe-dependent: framing the question as internal intention versus external tampering elicits qualitatively different responses on the same models. We test three LoRA finetuning methods (SFT, GRPO, DPO) on eight models from 3B to 27B; all three widen the intention-probe gap on every model from 8B to 27B, with method ranking varying by model. The intervention does not transfer to the tampering probe and counterintuitively raises attack success rate under adversarial prefill on most models, amounting to a partial mitigation. These findings outline mechanisms underpinning the observed introspective signals in safety contexts and highlight risks in the reliability of LLM self-reports.