Scaling Trends for Lie Detector Oversight in Preference Learning

📄 arXiv: 2607.01567v1 📥 PDF

作者: Oskar J. Hollinsworth, Ann-Kathrin Dombrowski, Sam Adam-Day, Adam Gleave, Chris Cundy

分类: cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出可扩展的谎言检测器监督方法以解决偏好学习中的欺骗行为监测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 谎言检测 偏好学习 大型语言模型 自动化监督 欺骗行为监测

📋 核心要点

  1. 现有方法在监测大型语言模型中的欺骗行为时，成本高且效率低，难以实现有效的监督。
  2. 论文提出了可扩展的谎言检测器监督（SOLiD）方法，通过使用谎言检测器来识别需要高成本标注者审查的响应。
  3. 实验结果表明，随着模型规模的增加，未检测到的欺骗行为显著降低，并且可以在微调阶段去除人类标注者。

📝 摘要（中文）

在大型语言模型（LLMs）中，欺骗行为的监测和预防成本高昂，因此提出了可扩展的谎言检测器监督（SOLiD）方法。本文将SOLiD扩展到更大规模的模型，并在更具多样性和现实性的偏好学习环境中进行评估。研究发现，随着模型参数从10亿增加到405亿，未检测到的欺骗行为比例从34%降至14%，且在微调阶段可以完全去除昂贵的人类标注者，而不会显著增加欺骗行为。然而，SOLiD对检测器训练数据与偏好训练数据之间的分布变化敏感，可能导致检测器的假阳性率升高至不切实际的水平。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中欺骗行为的监测问题，现有方法在成本和效率上存在显著不足，尤其是在需要人工标注的情况下。

核心思路：论文提出的SOLiD方法通过引入谎言检测器，能够在不依赖昂贵人类标注者的情况下，自动识别和审查潜在的欺骗响应，从而降低监测成本。

技术框架：整体架构包括谎言检测器的训练、模型的偏好学习阶段及其评估。首先，训练谎言检测器以识别欺骗行为，然后在偏好学习中应用该检测器进行实时监测。

关键创新：最重要的创新在于将谎言检测器的规模扩展到更大的模型，并在多样化的偏好学习环境中进行评估，这在现有文献中尚属首次。

关键设计：关键参数设置包括检测器的真阳性率（99%），以及在不同模型规模下的性能评估，确保在去除人类标注者的情况下，欺骗行为的检测率仍然保持在可接受范围内。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，随着模型参数从10亿增加到405亿，未检测到的欺骗行为比例显著降低，从34%降至14%。此外，去除昂贵的人类标注者后，欺骗行为的增加并不显著，显示出SOLiD方法的有效性和可行性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的开发与部署，尤其是在需要高效监测和防止欺骗行为的场景，如在线客服、社交媒体内容审核等。其实际价值在于降低人工标注成本，提高模型的可信度和安全性，未来可能推动更广泛的自动化监督技术的应用。

📄 摘要（原文）

Deceptive behavior in LLMs is costly to monitor and prevent, motivating approaches such as Scalable Oversight via Lie Detectors (SOLiD) (Cundy & Gleave, 2025), which uses lie detectors to identify responses for review by high-cost labelers. In this paper, we scale SOLiD to larger models and evaluate it in more diverse and realistic preference-learning settings. We find favorable scaling: undetected deception drops from 34% for 1B-parameter models to 14% for 405B-parameter models at a detector true positive rate of 99%, and expensive human labelers can be removed entirely from the fine-tuning phase without a statistically significant increase in deception. However, SOLiD is sensitive to distribution shift between detector training and preference-training data, which can drive detector false positive rates to impractical levels.