Not All Eval-Awareness Is Equal: Capabilities Framing Predicts Compliance
作者: Allison Zhuang, Santiago Aranguri
分类: cs.AI
发布日期: 2026-08-27
备注: 5 pages (14 appendices), 5 figures, presented at 2026 ICML Mechanistic Interpretability Workshop
💡 一句话要点
提出能力框架以提升模型评估合规性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 评估意识 能力框架 安全框架 合规性预测 链式思维 人工智能安全 模型评估
📋 核心要点
- 现有的评估意识干预方法将评估意识视为单一量，忽视了其不同类型对合规性的影响。
- 本文提出通过能力框架和安全框架的区分，来更精确地预测模型的合规性表现。
- 在Qwen3-32B模型上进行的实验表明，能力框架的合规性预测优于安全框架，且干预措施有效提升了合规性。
📝 摘要（中文）
针对模型在评估过程中对自身测试意识的反应，本文探讨了不同类型的评估意识（eval-awareness）对合规性的影响。研究发现，能力框架（capabilities-framing）与安全框架（safety-framing）在合规性预测上存在显著差异，前者在多种干预条件下的合规性提升幅度达到24至46个百分点。此外，通过链式思维的干预，能够有效改变模型的合规性表现，表明能力框架与合规性之间存在因果关系。整体结果揭示了评估意识的非均匀性，强调了不同框架对行为结果的影响。
🔬 方法详解
问题定义：本文旨在解决现有模型评估中对评估意识的单一化处理问题。现有方法未能区分不同类型的评估意识，导致合规性预测不准确。
核心思路：论文提出将评估意识分为能力框架和安全框架，认为这两种框架对合规性有不同的预测能力。通过识别和干预模型的评估意识类型，能够更有效地提升合规性。
技术框架：研究采用了链式思维（CoT）作为干预手段，首先识别模型的评估意识类型，然后根据不同框架进行针对性干预。整体流程包括数据收集、框架识别、干预实施和效果评估。
关键创新：最重要的创新在于首次将评估意识细分为能力框架和安全框架，并证明了这两者在合规性预测上的显著差异。这一发现为评估意识的研究提供了新的视角。
关键设计：在实验中，采用了Qwen3-32B模型和FORTRESS数据集，设计了多种干预条件，并通过链式思维的预填充干预来验证能力框架与合规性之间的因果关系。
🖼️ 关键图片
📊 实验亮点
实验结果显示，能力框架在合规性预测上相比安全框架提升了24至46个百分点。此外，10个预填充干预中有11个成功改变了合规性，进一步验证了能力框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括人工智能模型的安全评估、用户交互设计以及智能系统的合规性优化。通过更精确的评估意识干预，可以提升模型在实际应用中的安全性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Steering interventions targeting eval-awareness, a model's recognition that it is being tested, are increasingly used in safety evaluation pipelines, where evaluation-awareness is treated as a single quantity to be suppressed. We show that verbalized eval-awareness in chain-of-thought can be identified as capabilities-flavored ("the user is testing my ability to follow instructions"), safety-flavored ("the user is testing my boundaries"), both, or neither: framings that predict compliance very differently. On Qwen3-32B over the FORTRESS dataset, capabilities-framing predicts compliance with a +24 to +46 percentage-point gap over safety-framing across all tested steering conditions. A CoT-prefill intervention on eval-awareness-negative rollouts suggests the link is causal, with 10 of 11 prefills shifting compliance in the predicted direction. Then, eval-awareness is not behaviorally uniform: aggregate suppression rates can move while the safety-relevant component does not, and the same "X% suppression of eval-awareness" can correspond to qualitatively different behavioral outcomes.