Minimizing Targeted Activations: Input-Only Suppression of Evaluation-Awareness Latents in Large Language Models
作者: Deepanshu Mody, Samarth Agarwal, Utkarsh Mittal, Dipesh Mahato
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-07-28
💡 一句话要点
提出输入侧抑制方法以解决大型语言模型的评估意识问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 激活引导 输入侧抑制 评估意识 流畅性正则化 模型安全性 潜变量控制
📋 核心要点
- 现有方法在控制大型语言模型的内部潜变量时，面临评估意识潜变量可能影响安全评估有效性的问题。
- 本文提出了一种新的输入侧抑制方法，通过优化提示来抑制特定的评估意识潜变量，而无需直接访问模型。
- 实验结果表明，所提出的方法能够有效抑制目标潜变量，并在不同构造下验证了其鲁棒性和有效性。
📝 摘要（中文）
激活引导通过在推理时编辑内部激活来控制模型行为。本文研究其输入侧的对偶：优化流畅的提示，使选定的内部潜变量趋向于零，而无需在推理时访问模型。我们的目标是一个“评估意识”潜变量，该变量在最近的工作中是线性可读和可引导的，其控制可能威胁到安全评估的有效性。通过适应流畅梦境/EPO与否定特征项，我们在五个目标构造下抑制潜变量，结果显示该潜变量可以稳健地被抑制，并且一个因果验证的特征可以完全且选择性地关闭。然而，我们的控制结果表明，评估方向的抑制效果并不理想，甚至在某些情况下会增加模型的评估判断。
🔬 方法详解
问题定义：本文旨在解决大型语言模型中评估意识潜变量的控制问题，现有方法在推理时无法有效抑制这些潜变量，可能影响模型的安全性和评估结果。
核心思路：通过优化输入提示，使得特定的内部潜变量趋向于零，避免直接干预模型的内部状态，从而实现对模型行为的控制。
技术框架：整体方法包括五个主要阶段：选择目标潜变量、设计优化提示、应用流畅性正则化、执行优化过程以及评估抑制效果。
关键创新：本文的创新在于引入了否定特征项和自交叉熵流畅性正则化的结合，形成了一种新的输入侧抑制机制，与传统的激活引导方法形成鲜明对比。
关键设计：在优化过程中，采用了流畅性权重的调整，并在多个目标构造下进行实验，确保了潜变量的有效抑制和模型行为的稳定性。实验中还使用了因果验证的特征作为正对照，确保了结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法能够将目标潜变量抑制至约-7的水平，并且在特定构造下，模型的行为变化与随机方向的抑制效果相似，表明评估意识的控制并不简单。整体上，模型在评估判断上的表现并未显著改善，甚至在某些情况下有所增加。
🎯 应用场景
该研究的潜在应用领域包括安全性评估、模型调试和优化等。通过有效控制模型的评估意识潜变量，可以提高模型在实际应用中的安全性和可靠性，尤其是在敏感场景下的应用，如自动驾驶和医疗诊断等。
📄 摘要（原文）
Activation steering controls model behavior by editing internal activations at inference time. We study its input-side dual: optimizing a fluent prompt so that a chosen internal latent is driven toward zero, with no inference-time model access. Our target is an "evaluation-awareness" latent-linearly readable and steerable in recent work-whose control would threaten the validity of safety evaluations if models behave differently when they detect being tested. Adapting Fluent Dreaming / EPO with a negated feature term (GCG-style token optimization plus a self-cross-entropy fluency regularizer, swept over a fluency weight), we suppress the latent under five target constructions-a CAA direction, a subspace norm, an SAE feature, a single MLP neuron, and a behavioral logit-on Llama-3.2-3B and Llama-3.1-8B. The latent is robustly suppressible ($z\approx-7$), and a causally-validated Llama Scope SAE feature can be fully and selectively turned off. But our controls tell a cautionary story about the CAA direction: a placebo random direction is suppressed just as hard and shifts behavior just as far, and when we hold a real eval passage in context and optimize only a prefix, suppressing the eval-direction fails to reduce-and slightly increases-the model's behavioral eval judgment. Activation-readability, in short, is not behavioral controllability. We further find that a single MLP neuron is eval-correlated but not causal at both scales, and that scanning the real Pile yields a natural-text baseline competitive with the optimizer for the internal direction. A positive control validates our erasure detector, bounding an erasure-vs-rotation question earlier left open.