Prefill Awareness in Large Language Models
作者: Andy Wang, Parv Mahajan, David Demitri Africa, Alexandra Souly, Jordan Taylor, Robert Kirk
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出预填意识以解决语言模型安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 预填充 安全性评估 模型意识 AI控制 对齐问题 实验研究
📋 核心要点
- 现有的语言模型安全性研究依赖于预填充输出，但模型可能会识别这些预填内容，从而影响评估的有效性。
- 论文通过构建二元偏好基准，研究前沿语言模型是否能够区分被篡改和未篡改的助手上下文，提出了预填意识的概念。
- 实验结果显示，前沿模型在检测预填内容方面表现出显著的意识，且不同的线索影响模型的检测和抵抗能力。
📝 摘要（中文）
本研究探讨了语言模型在处理预填充输出时的意识能力，即模型是否能够识别其先前助手消息被插入或编辑的情况。通过构建一个二元偏好基准，研究发现前沿模型在识别预填充内容方面表现出显著的预填意识，尤其是在检测与其偏好相悖的预填时，Claude Opus 4.5的检测率为9-35%。此外，模型在没有明确报告预填内容的情况下，往往会回归到基线行为。研究结果表明，预填意识可能会对基于预填的方法产生重要影响，建议模型开发者关注这一能力。
🔬 方法详解
问题定义：本研究旨在解决语言模型在处理预填充输出时的意识能力问题，现有方法未能充分考虑模型对预填内容的识别能力，可能导致安全性评估失效。
核心思路：论文提出了“预填意识”的概念，旨在评估语言模型是否能够识别其输出中的预填充内容，并通过构建二元偏好基准进行测试。
技术框架：研究通过三种预填充机制构建了一个基准，模型在这些机制下进行评估，重点关注模型在不同情况下的表现和一致性。
关键创新：最重要的技术创新在于引入了预填意识的概念，并通过实验证明了前沿模型在检测预填内容方面的能力，这与现有方法的评估方式有本质区别。
关键设计：在实验中，使用了不同的线索来评估模型的检测能力，包括风格不匹配和偏好不匹配，模型的表现受这些因素的影响，设计了相应的评估指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Claude Opus 4.5在检测与其偏好相悖的预填内容时，成功率为9-35%，且在未明确报告预填内容的情况下，模型往往会回归基线行为。这一发现强调了预填意识对基于预填方法的影响，具有重要的实验意义。
🎯 应用场景
该研究的潜在应用领域包括AI安全性评估、模型对抗训练和人机交互系统。通过提高模型对预填充内容的识别能力，可以增强AI系统的安全性和可靠性，减少潜在的误用风险。未来，随着模型能力的提升，预填意识的研究将对AI的控制和对齐问题产生深远影响。
📄 摘要（原文）
Safety-relevant studies of language models, including alignment and jailbreaking evaluations and AI control protocols, often rely on prefilling model outputs. If AI models can recognize and act on the fact their prior assistant messages have been inserted or edited, the effectiveness and validity of these methods could be compromised. We investigate whether frontier language models can distinguish between tampered and untampered assistant-side context, a capability we call prefill awareness. To do so, we construct a binary preference benchmark across three prefill mechanisms, filtering for cases where models show consistent stances. We find that frontier models show substantial prefill awareness: Claude Opus 4.5 detects prefills opposing its preferences in 9-35% of cases with a 0% false positive rate when prompted; additionally, models often revert towards baseline behavior without explicitly reporting that the prefill was foreign. Controlled ablations later also show that detection and resistance rely on different cues, where stylistic mismatch mainly affects whether models flag a prefill as foreign, while preference mismatch mainly affects whether they revert toward their baseline answer. We also examine more realistic agentic settings such as misalignment-continuation evaluations and SWE-bench trajectories, where frontier models sometimes disavow prefilled assistant turns in ways that depend strongly on dataset, task success, and hidden formatting artifacts. Our results indicate that prefill awareness is already a substantial confound for some prefill-based methods. We recommend that model developers track this capability in frontier systems.