HateTinyLLM : Hate Speech Detection Using Tiny Large Language Models

📄 arXiv: 2405.01577v1 📥 PDF

作者: Tanmay Sen, Ansuman Das, Mrinmay Sen

分类: cs.CL, cs.LG

发布日期: 2024-04-26

💡 一句话要点

提出HateTinyLLM以解决仇恨言论检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨言论检测 小型大语言模型 深度学习 LoRA 适配器技术 社交媒体 自动化检测

📋 核心要点

  1. 现有的仇恨言论检测方法在准确性和效率上存在不足，难以应对社交媒体上大量信息的挑战。
  2. HateTinyLLM通过微调小型大语言模型，结合LoRA和适配器技术，提供了一种高效的仇恨言论检测解决方案。
  3. 实验结果显示，HateTinyLLM在检测准确率上显著优于基线模型mixtral-7b，所有微调模型均超过80%的准确率。

📝 摘要（中文）

仇恨言论是针对个人或群体的贬损或歧视性语言的交流方式。自动化的仇恨言论检测在遏制其传播方面至关重要，尤其是在社交媒体平台上。本文提出了一种基于微调的解码器专用小型大语言模型（tinyLLMs）的新框架HateTinyLLM，以高效检测仇恨言论。实验结果表明，微调后的HateTinyLLM在性能上显著优于预训练的mixtral-7b模型。我们探索了多种tiny LLM，包括PY007/TinyLlama-1.1B-step-50K-105b、Microsoft/phi-2和facebook/opt-1.3b，并采用LoRA和适配器方法进行微调，所有基于LoRA的微调模型均达到了80%以上的准确率。

🔬 方法详解

问题定义：本文旨在解决仇恨言论检测中的准确性和效率问题。现有方法在处理社交媒体上大量信息时，往往无法达到理想的检测效果，导致仇恨言论的传播未能有效遏制。

核心思路：HateTinyLLM的核心思路是利用微调的小型大语言模型（tinyLLMs），通过LoRA和适配器技术提升模型的检测能力，从而实现高效的仇恨言论检测。该设计旨在在保持较小模型体积的同时，提升其性能。

技术框架：HateTinyLLM的整体架构包括数据预处理、模型选择、微调过程和性能评估四个主要模块。首先，收集和标注仇恨言论数据集；然后选择合适的tiny LLM进行微调；接着应用LoRA和适配器方法进行模型训练；最后，通过实验评估模型的检测效果。

关键创新：本研究的关键创新在于结合了LoRA和适配器技术对tiny LLM进行微调，使得模型在保持小型化的同时，能够实现超过80%的准确率。这一方法与传统的重训练大模型的方法有本质区别，显著降低了计算资源的需求。

关键设计：在微调过程中，采用了LoRA技术以减少参数更新的数量，并通过适配器方法增强模型的特定任务能力。模型的损失函数设计为交叉熵损失，以优化分类性能，同时在训练过程中进行了超参数的细致调节，以确保模型的最佳表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，微调后的HateTinyLLM在仇恨言论检测中表现优异，准确率超过80%。与基线模型mixtral-7b相比，HateTinyLLM在性能上有显著提升，展示了tiny LLM在实际应用中的有效性和潜力。

🎯 应用场景

HateTinyLLM的研究成果具有广泛的应用潜力，尤其是在社交媒体平台、在线社区和内容审核系统中。通过高效的仇恨言论检测，能够有效遏制仇恨言论的传播，维护网络环境的和谐与安全。未来，该技术还可以扩展到其他类型的有害内容检测，如虚假信息和网络欺凌等。

📄 摘要（原文）

Hate speech encompasses verbal, written, or behavioral communication that targets derogatory or discriminatory language against individuals or groups based on sensitive characteristics. Automated hate speech detection plays a crucial role in curbing its propagation, especially across social media platforms. Various methods, including recent advancements in deep learning, have been devised to address this challenge. In this study, we introduce HateTinyLLM, a novel framework based on fine-tuned decoder-only tiny large language models (tinyLLMs) for efficient hate speech detection. Our experimental findings demonstrate that the fine-tuned HateTinyLLM outperforms the pretrained mixtral-7b model by a significant margin. We explored various tiny LLMs, including PY007/TinyLlama-1.1B-step-50K-105b, Microsoft/phi-2, and facebook/opt-1.3b, and fine-tuned them using LoRA and adapter methods. Our observations indicate that all LoRA-based fine-tuned models achieved over 80\% accuracy.