NormDetect: Anchored Calibration for Low-False-Positive Detection of Machine-Generated Web Text

📄 arXiv: 2610.41459v1 📥 PDF

作者: Hanshuai Cui, Fanshuai Meng, Zhiqing Tang

分类: cs.LG

发布日期: 2026-10-30

💡 一句话要点

提出NormDetect以解决机器生成文本的低假阳性检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器生成文本 假阳性检测 文本审核 深度学习 自然语言处理

📋 核心要点

  1. 现有的机器文本检测方法在假阳性率控制上存在不足，容易误判人类作者的作品。
  2. NormDetect通过将学习到的每部分头与标准化零样本得分结合，优化了检测性能。
  3. 在RAID基准测试中，NormDetect在0.1%的假阳性率下，召回率比标准化的Binoculars提高了5.0个百分点。

📝 摘要（中文）

网络平台需要筛选由大型语言模型生成的文本，降低假阳性率至关重要。现有的零样本检测器如Binoculars在处理不可见编辑（如同形异义词）时表现不佳，导致机器文本被误判为人类文本。尽管Unicode标准化可以修复这些编辑，但在严格的假阳性率下，标准化得分仍然漏掉了一半的机器文本。本文提出了NormDetect，通过将每个部分的学习头锚定到标准化的零样本得分，显著提高了检测性能。

🔬 方法详解

问题定义：本文旨在解决机器生成文本的低假阳性检测问题。现有方法在处理不可见编辑时表现不佳，导致假阳性率过高，影响人类作者的作品。

核心思路：NormDetect的核心思路是将每个部分的学习头与标准化的零样本得分相结合，以提高检测的准确性和召回率。通过这种方式，能够更好地识别机器生成的文本，同时控制假阳性率。

技术框架：NormDetect的整体架构包括两个主要模块：标准化得分模块和学习头模块。标准化得分模块负责处理文本的Unicode标准化，而学习头模块则根据训练集中的人类假阳性率进行调整。

关键创新：NormDetect的主要创新在于将学习到的每部分头与标准化得分进行锚定，形成了一种新的得分融合机制。这种方法在假阳性率控制上优于现有的检测器。

关键设计：在设计上，NormDetect使用了基于训练折叠选择的混合权重，并在假阳性率不超过1%的情况下进行阈值校准。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RAID基准测试中，NormDetect在0.1%的假阳性率下，召回率比标准化的Binoculars提高了5.0个百分点，且在每个部分的假阳性率均保持在1%以内，显示出其优越的检测性能。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、在线内容审核和自动化文本检测系统。通过提高机器生成文本的检测准确性，NormDetect能够有效减少对人类作者的误判，保护创作权益，提升内容审核的效率和公正性。

📄 摘要（原文）

Web platforms screen posts for text written by large language models, and every false flag hits a human writer. Detectors must therefore run at a very low false positive rate (FPR). Zero-shot detectors such as Binoculars score text with frozen language models, but invisible edits such as homoglyphs shatter tokenization and push machine text into the human range. Unicode normalization undoes these edits, yet the normalized score still misses half of the machine text at a strict FPR, under attacks that leave nothing to clean. We find that with the Falcon-7B scoring pair, heads on token statistics recall less than the normalized score at this FPR, and several flag too many human posts in some sections. We propose NormDetect, which anchors a learned per-section head to the normalized zero-shot score. A blend weight chosen on training folds under a human FPR cap combines the two scores, and one threshold is calibrated on human text only. On eight sections of the RAID benchmark with eleven attacks, NormDetect raises recall at a 0.1% calibrated FPR by 5.0 points over normalized Binoculars. Its human FPR bound stays at most 1% in every section, and no other detector within this bound recalls as much.