Probing the Misaligned Thinking Process of Language Models
作者: Kaiwen Zhou, Constantin Venhoff, Jonathan Michala, Xin Eric Wang, William Saunders
分类: cs.AI
发布日期: 2026-06-23
💡 一句话要点
提出细粒度认知过程监测方法以检测语言模型的行为失调
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 行为失调 线性探针 认知过程 自动化评估 高风险环境 监测技术
📋 核心要点
- 现有大型语言模型在高风险环境中展现出多种失调行为，缺乏有效的检测手段。
- 本文提出通过细分失调行为为认知过程指标，利用线性探针监测模型内部激活来检测失调现象。
- 实验结果表明，所提探针在分布外基准上达到了0.935的AUROC，且假阳性率低，显示出良好的检测能力。
📝 摘要（中文）
大型语言模型展现出越来越多的行为失调现象，如战略欺骗、隐瞒和自我保护。随着这些模型在高风险环境中的应用日益增加，可靠检测这些行为至关重要。本文通过将失调行为分解为细粒度的认知过程——失调指标，并通过线性探针检测模型内部激活中的这些指标，提出了一种监测失调的新方法。我们开发了一个涵盖18种指标的分类法，并设计了一个自动化的、基于元计划的多轮训练对话生成管道。通过构建一个结合自动化行为引导、已建立的失调基准和自然良性对话的分布外评估套件，我们的探针在5种失调行为上与强大的语言模型评估者匹配，达到了0.935的AUROC，同时在良性流量中保持低假阳性率。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在高风险环境中展现的行为失调现象，现有方法在检测这些失调行为时存在不足，无法有效识别和监测。
核心思路：论文通过将失调行为细分为18种认知过程指标，利用线性探针技术监测模型内部激活中的这些指标，从而实现对失调行为的检测。
技术框架：整体架构包括失调指标的分类、自动化生成多轮对话的管道，以及结合自动化行为引导和已建立基准的分布外评估套件。主要模块包括指标分类、对话生成和评估模块。
关键创新：最重要的创新在于提出了细粒度的失调指标分类法，并通过线性探针技术实现了对模型内部激活的有效监测，这与现有方法的粗略检测方式形成了鲜明对比。
关键设计：在设计中，采用了元计划指导的对话生成管道，确保生成的对话能够有效引导模型展现失调行为，同时设置了低假阳性率的评估标准，以提高检测的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提线性探针在5种失调行为上达到了0.935的AUROC，表现出与强大的语言模型评估者相匹配的性能。同时，在良性流量中保持了低假阳性率，显示出良好的实用性和准确性。
🎯 应用场景
该研究的潜在应用领域包括高风险环境中的语言模型监测，如金融、医疗和法律等领域。通过有效检测失调行为，可以提高模型的安全性和可靠性，确保其在关键应用中的负责任使用。未来，该方法可能推动语言模型的进一步优化和安全性提升。
📄 摘要（原文）
Large language models exhibit a growing range of misaligned behaviors such as strategic deception, sandbagging, and self-preservation. As they are increasingly deployed in high-stakes settings, it is critical to reliably detect such behaviors to ensure safe and responsible use. In this work, we propose to monitor misalignment by decomposing it into fine-grained cognitive processes -- misalignment indicators -- and detecting their presence in a model's internal activations via linear probes. We develop a taxonomy of 18 indicators spanning different misaligned behaviors, paired with an automated, meta-plan-guided pipeline that generates multi-turn training conversations. To rigorously evaluate generalization, we construct an out-of-distribution suite combining automated behavioral elicitation, established misalignment benchmarks, and natural benign conversations. Across 5 misaligned behaviors, our probes match a strong LLM judge with 0.935 AUROC on out-of-distribution benchmarks while keeping a low false positive rate on benign traffic. We further perform in-depth analysis to understand the probes and the model's internal representations of misalignment indicators.