Scaling Trends for Lie Detector Oversight in Preference Learning

📄 arXiv: 2607.01567 📥 PDF

作者: Oskar J. Hollinsworth, Ann-Kathrin Dombrowski, Sam Adam-Day, Adam Gleave, Chris Cundy

分类: cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出可扩展的谎言检测器监督方法以解决偏好学习中的欺骗行为监控问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 谎言检测 偏好学习 大型语言模型 可扩展监督 欺骗行为监控

📋 核心要点

  1. 现有方法在监控大型语言模型中的欺骗行为时，成本高且效率低，难以实现有效的监督。
  2. 论文提出了可扩展的谎言检测器监督方法（SOLiD），通过谎言检测器识别需要人工审核的响应，降低人力成本。
  3. 实验结果表明，随着模型规模的扩大，未检测欺骗行为的比例显著降低，且可以在微调阶段完全去除人类标注者。

📝 摘要（中文）

在大型语言模型中，欺骗行为的监控和预防成本高昂，促使了可扩展监督方法的提出，如通过谎言检测器进行监督（SOLiD）。本文将SOLiD扩展到更大规模的模型，并在更具多样性和现实性的偏好学习环境中进行评估。研究发现，未被检测的欺骗行为在模型参数从10亿增加到405亿时，未检测率从34%降至14%，且在微调阶段可以完全移除昂贵的人类标注者，而不会显著增加欺骗行为。然而，SOLiD对检测器训练数据与偏好训练数据之间的分布变化敏感，这可能导致检测器的假阳性率达到不实用的水平。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中欺骗行为的监控问题，现有方法在成本和效率上存在显著不足，尤其是在需要人工审核的情况下。

核心思路：论文提出的SOLiD方法利用谎言检测器来识别潜在的欺骗响应，从而减少对昂贵人类标注者的依赖，提升监控效率。

技术框架：整体架构包括谎言检测器的训练、模型的偏好学习阶段以及检测结果的审核。首先训练谎言检测器，然后在偏好学习中应用该检测器，最后分析检测结果。

关键创新：最重要的创新在于将谎言检测器的应用扩展到更大规模的模型，并在多样化的偏好学习场景中验证其有效性，显著降低未检测欺骗行为的比例。

关键设计：在设计中，论文关注检测器的训练数据与偏好训练数据的分布一致性，设定了高真阳性率（99%）的目标，同时考虑了假阳性率的控制，以确保检测器的实用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，随着模型参数从10亿增加到405亿，未检测的欺骗行为比例从34%降至14%。此外，研究表明在微调阶段可以完全去除人类标注者，而不会显著增加欺骗行为，这一发现具有重要的实用意义。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的安全性监控、在线内容审核以及自动化客服系统等。通过有效识别和减少欺骗行为，能够提升用户信任度和系统的整体可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Deceptive behavior in LLMs is costly to monitor and prevent, motivating approaches such as Scalable Oversight via Lie Detectors (SOLiD) (Cundy & Gleave, 2025), which uses lie detectors to identify responses for review by high-cost labelers. In this paper, we scale SOLiD to larger models and evaluate it in more diverse and realistic preference-learning settings. We find favorable scaling: undetected deception drops from 34% for 1B-parameter models to 14% for 405B-parameter models at a detector true positive rate of 99%, and expensive human labelers can be removed entirely from the fine-tuning phase without a statistically significant increase in deception. However, SOLiD is sensitive to distribution shift between detector training and preference-training data, which can drive detector false positive rates to impractical levels.