HateCOT: An Explanation-Enhanced Dataset for Generalizable Offensive Speech Detection via Large Language Models

📄 arXiv: 2403.11456v4 📥 PDF

作者: Huy Nghiem, Hal Daumé

分类: cs.CL, cs.AI, cs.SI

发布日期: 2024-03-18 (更新: 2024-10-05)

备注: EMNLP 2024 Findings

💡 一句话要点

提出HateCOT以解决攻击性言论检测的泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 攻击性言论检测 大型语言模型 数据集构建 泛化能力 社交媒体监控

📋 核心要点

  1. 现有的攻击性内容检测模型在不同数据集上表现不一，难以泛化，主要由于对攻击性内容的定义和标注不一致。
  2. 本文提出HateCOT数据集，通过结合GPT-3.5Turbo生成的解释和人工审核，增强了数据集的多样性和质量。
  3. 实验结果表明，HateCOT的预训练显著提升了大型语言模型在多个基准数据集上的性能，尤其是在零样本和少样本场景下。

📝 摘要（中文）

社交媒体的广泛使用使得可靠和高效的攻击性内容检测变得必要，以减轻其有害影响。尽管现有模型在单一数据集上表现良好，但由于对“攻击性内容”的定义和标注差异，它们往往难以泛化。本文介绍了HateCOT，一个包含超过52,000个样本的英语数据集，样本来源多样，解释由GPT-3.5Turbo生成并经过人工审核。我们展示了在HateCOT上进行预训练显著提升了开源大型语言模型在三个基准数据集上的攻击性内容检测性能，无论是在零样本还是少样本设置下，尽管领域和任务存在差异。此外，HateCOT还促进了LLMs在有限数据下的有效K-shot微调，并提高了其解释质量，得到了人类评估的确认。

🔬 方法详解

问题定义：本文旨在解决攻击性言论检测模型在不同数据集间泛化能力不足的问题。现有方法在定义和标注攻击性内容上存在差异，导致模型在新数据集上表现不佳。

核心思路：论文提出HateCOT数据集，通过结合自动生成的解释和人工审核，提供了一个高质量、多样化的训练数据集，以增强模型的泛化能力。

技术框架：HateCOT数据集包含超过52,000个样本，样本来源多样，模型在此数据集上进行预训练，随后在多个基准数据集上进行评估，验证其在零样本和少样本设置下的性能。

关键创新：HateCOT的最大创新在于引入了GPT-3.5Turbo生成的解释，这些解释不仅丰富了数据集的内容，还提高了模型的解释能力，与传统方法相比，提供了更为全面的上下文信息。

关键设计：在数据集构建过程中，采用了GPT-3.5Turbo生成的解释，并经过人工审核以确保质量。此外，模型的微调采用了K-shot学习策略，以适应有限数据的场景。实验中使用了标准的损失函数和评估指标，以确保结果的可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在HateCOT数据集上预训练的模型在三个基准数据集上的性能显著提升，尤其是在零样本和少样本设置下，准确率提高了约20%。人类评估也证实了模型生成的解释质量有了显著改善，表明HateCOT在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监控、在线评论审核和自动化内容过滤等。通过提高攻击性内容检测的准确性和泛化能力，HateCOT可以帮助平台更有效地管理用户生成内容，减少有害信息的传播，提升用户体验。未来，该方法也可扩展至其他语言和文化背景下的内容检测任务。

📄 摘要（原文）

The widespread use of social media necessitates reliable and efficient detection of offensive content to mitigate harmful effects. Although sophisticated models perform well on individual datasets, they often fail to generalize due to varying definitions and labeling of "offensive content." In this paper, we introduce HateCOT, an English dataset with over 52,000 samples from diverse sources, featuring explanations generated by GPT-3.5Turbo and curated by humans. We demonstrate that pretraining on HateCOT significantly enhances the performance of open-source Large Language Models on three benchmark datasets for offensive content detection in both zero-shot and few-shot settings, despite differences in domain and task. Additionally, HateCOT facilitates effective K-shot fine-tuning of LLMs with limited data and improves the quality of their explanations, as confirmed by our human evaluation.