"Did you lie?" Evaluating Lie Detectors across Model Scale and Belief-Verified Model Organisms
作者: Alan Cooney, David Africa, Geoffrey Irving
分类: cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出新型谎言检测器以解决模型信念验证问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 谎言检测 模型信念 链式思维 激活探测器 对数概率分类器 推理模型 测试平台 人工智能审计
📋 核心要点
- 现有的谎言检测器在验证模型信念时存在显著不足，导致检测结果难以解释。
- 本研究提出了13个经过验证的推理模型和一个新的谎言测试平台，以提高检测器的有效性。
- 在对31个开放权重模型的实验中，链式思维评判器表现出0.82的平衡准确率，优于其他检测器。
📝 摘要（中文）
本研究探讨了语言模型的谎言检测器的有效性，指出现有模型在验证信念方面存在不足。我们提出了13个推理模型，并设计了Varied Deception测试平台，评估了四种检测器的性能。结果显示，尽管所有检测器在模型能力上表现出正相关，但基于激活和对数概率的检测器在训练模型上表现不佳，而链式思维评判器保持较高的准确性。我们建议未来的研究方向以解决当前检测器的局限性，并发布了相关数据集和模型。
🔬 方法详解
问题定义：本研究旨在解决现有谎言检测器在验证模型信念时的不足，尤其是在模型的信念与其输出不一致的情况下，导致检测结果难以解释。
核心思路：通过设计13个推理模型和Varied Deception测试平台，确保模型的信念可验证，从而提高谎言检测器的准确性和可靠性。
技术框架：整体架构包括模型信念的验证、谎言测试平台的构建以及四种检测器的评估，主要模块包括链式思维评判器、对数概率分类器和激活探测器。
关键创新：最重要的创新在于引入了Did-You-Lie（DYL）方法，作为训练后续探测器的新方式，显著提升了检测器在特定任务上的表现。
关键设计：在模型训练中，采用了特定的损失函数和网络结构，以确保模型能够有效捕捉到谎言的信号，同时优化了参数设置以提高检测器的整体性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在31个开放权重模型中，链式思维评判器达到了0.82的平衡准确率，明显优于其他基于激活和对数概率的检测器，后者在训练模型上表现不佳，显示出DYL方法的有效性和重要性。
🎯 应用场景
该研究的谎言检测器可广泛应用于语言模型的审计、监控和后期调查，帮助研究人员更好地理解和控制模型行为，提升人工智能系统的透明度和可靠性。未来，这些技术可能在法律、心理学和社会科学等领域产生深远影响。
📄 摘要（原文）
Robust lie detectors for language models could enable powerful techniques for auditing, monitoring, and post-hoc investigation of model behaviour, but evaluating them requires testbeds where models verifiably believe the opposite of what they say. We show that existing trained model organisms often fail this requirement, leaving prior positive and negative detection results difficult to interpret. We address this with 13 reasoning model organisms whose hidden beliefs are verified in chain-of-thought and shown to generalise to held-out tasks, alongside Varied Deception, a prompted-lying testbed covering a broad range of lie-inducing motivations. On these testbeds we evaluate four detectors: a chain-of-thought judge, a logprob classifier, and two activation probes, including Did-You-Lie (DYL), a new method for training follow-up probes. On prompted lying, across 31 open-weight models spanning 2B to 1T parameters, all four detectors show positive scaling with model capability. However, every activation- and logprob-based detector drops sharply on our trained model organisms, with DYL retaining the most signal; only the chain-of-thought judge remains strong, with 0.82 balanced accuracy, partly as an artefact of our verification process favouring CoT-readable beliefs. Current lie detectors therefore cannot support high-confidence claims about model beliefs, and we suggest research directions that may address some of their current limitations. We release our datasets, model organisms, and trained detectors.