Does DetectGPT Fully Utilize Perturbation? Bridging Selective Perturbation to Fine-tuned Contrastive Learning Detector would be Better

📄 arXiv: 2402.00263v4 📥 PDF

作者: Shengchao Liu, Xiaoming Liu, Yichen Wang, Zehua Cheng, Chengzhengxu Li, Zhaohan Zhang, Yu Lan, Chao Shen

分类: cs.CL

发布日期: 2024-02-01 (更新: 2024-07-07)

💡 一句话要点

提出Pecola以解决DetectGPT在扰动利用上的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本检测 选择性扰动 对比学习 微调方法 机器生成文本

📋 核心要点

  1. 现有的DetectGPT方法在扰动策略上存在随机性，可能引入噪声，影响检测的准确性和泛化能力。
  2. 本文提出的Pecola检测器通过选择性扰动和对比学习，保留重要token并优化多对对比学习过程。
  3. 实验结果显示，Pecola在四个公共数据集上平均准确率提升1.20%，超越了当前最先进的检测器。

📝 摘要（中文）

随着大型语言模型（LLMs）生成能力的提升，自动检测机器生成文本的需求日益增加。DetectGPT作为一种零-shot度量基础的检测器，首次引入扰动策略并取得了显著的性能提升。然而，DetectGPT中的随机扰动策略可能引入噪声，且逻辑回归依赖于阈值，影响了对单个或小批量输入的泛化能力和适用性。因此，本文提出了一种新型的微调检测器Pecola，通过对选择性扰动的对比学习，桥接了度量基础和微调方法。选择性策略在扰动过程中保留重要的token，并为多对对比学习加权。实验表明，Pecola在四个公共数据集上的平均准确率比当前最先进的方法提高了1.20%。

🔬 方法详解

问题定义：本文旨在解决DetectGPT在扰动利用上的不足，特别是随机扰动引入的噪声和逻辑回归对阈值的依赖，导致的泛化能力和适用性问题。

核心思路：论文提出的Pecola检测器通过选择性扰动策略，保留重要的token，并结合对比学习，提升了检测器的性能和泛化能力。这样的设计旨在减少噪声影响，同时增强模型对重要信息的关注。

技术框架：Pecola的整体架构包括选择性扰动模块、对比学习模块和微调模块。选择性扰动模块负责在扰动过程中保留重要token，对比学习模块则通过多对样本进行学习，微调模块用于优化模型参数。

关键创新：Pecola的主要创新在于引入选择性扰动策略与对比学习的结合，这一方法显著提升了模型的准确性和鲁棒性，与传统的随机扰动方法形成鲜明对比。

关键设计：在模型设计中，选择性扰动的参数设置和对比学习的损失函数经过精心调整，以确保模型能够有效学习到重要特征，同时避免噪声的干扰。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Pecola在四个公共数据集上的平均准确率比当前最先进的方法提高了1.20%。这一提升不仅展示了选择性扰动与对比学习结合的有效性，也为未来的文本检测技术提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括自动文本检测、内容审核和反欺诈系统等。Pecola的设计能够提高机器生成文本的检测准确性，帮助各类平台更有效地识别和处理不当内容，具有重要的实际价值和社会影响。

📄 摘要（原文）

The burgeoning generative capabilities of large language models (LLMs) have raised growing concerns about abuse, demanding automatic machine-generated text detectors. DetectGPT, a zero-shot metric-based detector, first introduces perturbation and shows great performance improvement. However, in DetectGPT, the random perturbation strategy could introduce noise, and logit regression depends on the threshold, harming the generalizability and applicability of individual or small-batch inputs. Hence, we propose a novel fine-tuned detector, Pecola, bridging metric-based and fine-tuned methods by contrastive learning on selective perturbation. Selective strategy retains important tokens during perturbation and weights for multi-pair contrastive learning. The experiments show that Pecola outperforms the state-of-the-art (SOTA) by 1.20% in accuracy on average on four public datasets. And we further analyze the effectiveness, robustness, and generalization of the method.