EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

📄 arXiv: 2608.10698v1 📥 PDF

作者: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

分类: cs.CL

发布日期: 2026-08-11

备注: Accepted by NLPCC 2026 Shared Tasks

🔗 代码/项目: GITHUB

💡 一句话要点

提出EVIL-Detect以解决LLM生成文本检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本检测 大型语言模型 多信号集成 冲突感知融合 中文处理

📋 核心要点

  1. 核心问题：现有方法在检测LLM生成文本时，面对人类书写文本和LLM生成文本的混合场景时表现不佳，鲁棒性不足。
  2. 方法要点：本文提出的EVIL-Detect框架通过多信号集成和冲突感知融合，提升了文本检测的准确性和鲁棒性。
  3. 实验或效果：该系统在NLPCC 2026共享任务中取得了0.8888的宏F1分数，排名第一，显示出显著的性能提升。

📝 摘要（中文）

随着大型语言模型（LLMs）的快速发展，可靠检测LLM生成文本的需求日益增加，尤其是在涉及人类书写文本（HWT）、LLM生成文本（LGT）和LLM精炼文本（HLT）的真实中文场景中。本文提出了EVIL-Detect，一个具有冲突感知融合的多信号集成框架，旨在应对NLPCC 2026共享任务6。该系统整合了编辑范围回归、零样本似然对比信号、词汇统计和保守文本规则。通过校准决策边界和冲突感知集成，我们的系统在强离散分布转变下提高了鲁棒性，取得了0.8888的宏F1分数，并在官方评估中排名第一。我们的代码可在https://github.com/bbbbhrrrr/evildetect获取。

🔬 方法详解

问题定义：本文旨在解决在真实中文场景中，如何有效检测LLM生成文本的问题。现有方法在处理人类书写文本与LLM生成文本混合时，常常面临鲁棒性不足和准确性低的问题。

核心思路：EVIL-Detect框架的核心思路是通过多信号集成和冲突感知融合，综合考虑不同信号源的信息，从而提高检测的准确性和鲁棒性。这样的设计能够有效应对文本生成中的多样性和复杂性。

技术框架：该系统的整体架构包括多个主要模块：编辑范围回归、零样本似然对比信号、词汇统计和保守文本规则。各模块通过冲突感知的方式进行信息融合，形成最终的检测结果。

关键创新：最重要的技术创新在于冲突感知融合机制，它能够有效整合来自不同信号源的信息，提升系统在强离散分布转变下的鲁棒性。这一创新与现有方法的本质区别在于其对冲突信息的处理能力。

关键设计：在参数设置上，系统采用了校准的决策边界，确保不同信号的融合效果最佳。此外，损失函数的设计考虑了多信号的特性，使得模型在训练过程中能够更好地学习到有效的特征。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在NLPCC 2026共享任务中，EVIL-Detect系统取得了0.8888的宏F1分数，排名第一，显示出相较于其他基线方法显著的性能提升。这一结果证明了其在强离散分布转变下的鲁棒性和有效性。

🎯 应用场景

该研究的潜在应用领域包括内容审核、社交媒体监控和教育领域的文本真实性检测等。随着LLM技术的普及，能够准确检测生成文本的工具将对信息安全和内容质量产生重要影响，未来可能推动相关技术的进一步发展和应用。

📄 摘要（原文）

The rapid development of large language models (LLMs) has increased the need for reliable detection of LLM-generated text, especially in realistic Chinese scenarios involving human-written text (HWT), LLM-generated text (LGT), and LLM-refined text (HLT). This paper presents EVIL-Detect, a multi-signal ensemble framework with conflict-aware fusion for NLPCC 2026 Shared Task 6. The system integrates edit-extent regression, zero-shot likelihood-contrast signals, lexical statistics, and conservative text rules. With calibrated decision boundaries and conflict-aware integration, our system improves robustness under strong out-of-distribution shifts, achieving a macro-F1 score of 0.8888 and ranking first in the official evaluation. Our code is available at https://github.com/bbbbhrrrr/evildetect.