PlagiaCorpus: A Bilingual, Adversarial, and Cross-Lingual Dataset for Forensic Plagiarism Detection
作者: Adel Ammar, Serry Sibaee, Wadii Boulila
分类: cs.CL, cs.AI, cs.CY, cs.DL, cs.IR
发布日期: 2026-11-02
💡 一句话要点
提出PlagiaCorpus数据集以解决跨语言抄袭检测问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 抄袭检测 双语数据集 文本重用 大型语言模型 自然语言处理
📋 核心要点
- 现有的抄袭检测方法在处理跨语言和由大型语言模型生成的文本重用时存在局限性，缺乏有效的基准数据集。
- PlagiaCorpus数据集通过构建双语文本和多种重用类别，为抄袭检测提供了标准化的评估工具，增强了研究的可比性。
- 实验结果表明，该数据集在不同重用类别上具有良好的标注质量和一致性，为后续研究提供了可靠的数据支持。
📝 摘要（中文）
PlagiaCorpus是一个双语阿拉伯语-英语数据集，旨在为抄袭和文本重用检测提供基准，包括由大型语言模型（LLMs）生成的重用内容及跨语言重用。该数据集包含198,643条文本记录：源语料库包含34,885段来自英语和阿拉伯语维基百科及两个开放许可的书籍集合，查询部分包括163,758条（147,381条用于训练，16,377条用于测试）。查询涵盖五种重用类别，难度逐渐增加，包括逐字复制、字符级混淆、两种不同LLMs的同语言释义，以及带有结构性释义的英语-阿拉伯语翻译，此外还有安全类别的非重用段落。每个正查询都与其源段落相连，训练/测试划分按源段落分组，以确保没有段落同时贡献于两个划分。该数据集经过语言识别、去除LLM生成伪影及精确和跨语言去重的整理，最终以JSON和Parquet格式在CC BY-SA 4.0许可下发布。
🔬 方法详解
问题定义：本论文旨在解决现有抄袭检测方法在跨语言和大型语言模型生成文本重用方面的不足，缺乏有效的双语数据集以支持相关研究。
核心思路：论文提出了PlagiaCorpus数据集，通过构建包含多种重用类别的双语文本，提供一个标准化的基准，以便于对抄袭检测技术的评估和比较。
技术框架：数据集的构建包括源语料库的选择、查询的生成和标注，采用了语言识别、去除伪影和去重等技术，确保数据的质量和有效性。
关键创新：PlagiaCorpus的创新点在于其双语特性和多样化的重用类别，尤其是对由LLMs生成的文本重用的关注，这在现有数据集中尚属首次。
关键设计：数据集的设计包括对源段落的精确标注、训练和测试集的划分策略，以及对不同重用类别的详细定义，确保了数据集的高质量和可用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PlagiaCorpus数据集在不同重用类别上具有良好的标注一致性，训练集和测试集的划分有效避免了数据泄露，为抄袭检测算法的评估提供了可靠的基础。具体性能数据和提升幅度尚未披露。
🎯 应用场景
PlagiaCorpus数据集的潜在应用领域包括学术不端检测、内容审核、自然语言处理和机器学习等。其提供的标准化基准将促进相关技术的发展，提升抄袭检测系统的准确性和鲁棒性，具有重要的实际价值和社会影响。
📄 摘要（原文）
PlagiaCorpus is a bilingual Arabic-English dataset for benchmarking plagiarism and text-reuse detection, including reuse produced by large language models (LLMs) and reuse across languages. It contains 198,643 text records: a source corpus of 34,885 passages drawn from English and Arabic Wikipedia and two openly licensed book collections, and 163,758 queries (147,381 for training and 16,377 for testing). The queries cover five reuse classes of increasing difficulty, namely verbatim copying, character-level obfuscation, same-language paraphrasing by two different LLMs, and English--Arabic translation with structural paraphrasing, together with a Safe class of non-reused passages. Every positive query is linked to its source passage, and the train/test split is grouped by source passage so that no passage contributes queries to both splits. The release was curated through language identification, removal of LLM generation artefacts, and exact and cross-lingual de-duplication. Technical validation reports per-class length statistics, automatic checks of the train/test split, and inter-annotator agreement on a manually rated sample. The dataset is distributed in JSON and Parquet formats under a CC BY-SA 4.0 license.