KInIT at SemEval-2024 Task 8: Fine-tuned LLMs for Multilingual Machine-Generated Text Detection

📄 arXiv: 2402.13671v2 📥 PDF

作者: Michal Spiegel, Dominik Macko

分类: cs.CL, cs.AI

发布日期: 2024-02-21 (更新: 2024-06-17)

备注: SemEval-2024 Task 8

💡 一句话要点

提出基于微调LLM的多语言机器生成文本检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言处理 机器生成文本 文本检测 语言识别 微调模型 统计检测 深度学习

📋 核心要点

  1. 现有的机器生成文本检测方法在多语言和多领域场景下的适应性不足，面临较大挑战。
  2. 本文提出通过语言识别和小型LLM的参数高效微调来提升文本分类的准确性，结合统计检测指标进行优化。
  3. 实验结果显示，所提方法在检测性能上具有显著提升，最终排名第四，表现优异。

📝 摘要（中文）

SemEval-2024任务8聚焦于多生成器、多领域和多语言的黑箱机器生成文本检测。该检测对于防止大型语言模型（LLMs）的潜在滥用至关重要。本文采用了多种方法，包括语言识别和小型LLM的参数高效微调进行文本分类。此外，利用每种语言的分类阈值校准，将微调模型的预测与统计检测指标相结合，以提高系统检测性能的泛化能力。我们提交的方法取得了竞争性结果，排名第四，仅比第一名低1个百分点。

🔬 方法详解

问题定义：本文旨在解决多语言和多领域的机器生成文本检测问题。现有方法在处理多生成器文本时，准确性和泛化能力不足，难以有效识别不同语言的生成文本。

核心思路：通过语言识别技术与小型LLM的参数高效微调相结合，提升文本分类的准确性。同时，采用每种语言的分类阈值校准，优化模型预测与统计检测指标的结合。

技术框架：整体架构包括语言识别模块、小型LLM微调模块和分类阈值校准模块。首先进行语言识别，然后对识别出的语言进行微调，最后通过校准提升检测性能。

关键创新：最重要的创新在于将微调模型的预测与统计检测指标相结合，通过分类阈值校准实现更好的泛化能力。这一方法在多语言场景下具有显著优势。

关键设计：在参数设置上，采用了小型LLM的高效微调策略，损失函数设计为适应多语言特性，网络结构则优化以适应不同语言的文本特征。具体细节未在摘要中详细说明。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，所提方法在多语言机器生成文本检测中表现优异，最终排名第四，距离第一名仅低1个百分点。这表明该方法在提升检测准确性和泛化能力方面具有显著效果，具有较强的竞争力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、新闻报道的真实性验证以及教育领域的自动化文本审核。通过有效检测机器生成文本，可以防止信息误导和滥用，提升信息传播的可信度和安全性。未来，该技术有望在更广泛的多语言环境中得到应用，推动文本生成技术的健康发展。

📄 摘要（原文）

SemEval-2024 Task 8 is focused on multigenerator, multidomain, and multilingual black-box machine-generated text detection. Such a detection is important for preventing a potential misuse of large language models (LLMs), the newest of which are very capable in generating multilingual human-like texts. We have coped with this task in multiple ways, utilizing language identification and parameter-efficient fine-tuning of smaller LLMs for text classification. We have further used the per-language classification-threshold calibration to uniquely combine fine-tuned models predictions with statistical detection metrics to improve generalization of the system detection performance. Our submitted method achieved competitive results, ranking at the fourth place, just under 1 percentage point behind the winner.