Towards Interpretable Hate Speech Detection using Large Language Model-extracted Rationales
作者: Ayushi Nirmal, Amrita Bhattacharjee, Paras Sheth, Huan Liu
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-03-19 (更新: 2024-05-08)
备注: Camera-ready for NAACL WOAH 2024 (Workshop on Online Abuse and Harms). First two authors contributed equally
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于大语言模型提取理性解释的仇恨言论检测方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 仇恨言论检测 可解释性 大语言模型 特征提取 社交媒体分析
📋 核心要点
- 现有的仇恨言论检测方法大多为黑箱模型，缺乏可解释性，难以理解其决策过程。
- 本文提出利用大语言模型提取文本特征，以训练仇恨言论分类器，增强模型的可解释性。
- 实验结果表明，LLM提取的理性解释有效，且在确保可解释性的同时，检测器性能未显著下降。
📝 摘要（中文）
社交媒体为用户提供了表达意见的平台，但其匿名性使得仇恨言论和攻击性内容泛滥。现有的仇恨言论检测方法大多为黑箱模型，缺乏可解释性。本文提出了一种利用先进的大语言模型（LLMs）提取输入文本特征的方法，以训练基础的仇恨言论分类器，从而实现设计上的可信可解释性。通过对多种英语社交媒体仇恨言论数据集的综合评估，验证了LLM提取的理性解释的有效性，并发现即使在确保可解释性后，检测器的性能也意外地得以保留。所有代码和数据将在https://github.com/AmritaBh/shield上公开。
🔬 方法详解
问题定义：本文旨在解决社交媒体上仇恨言论检测的可解释性问题。现有方法往往缺乏透明度，使得用户难以理解模型的决策依据。
核心思路：通过利用大语言模型提取文本中的理性解释，训练一个基础的仇恨言论分类器，从而在设计上实现可信的可解释性。这样的设计使得模型不仅能够进行有效的分类，还能提供可理解的理由。
技术框架：整体架构包括两个主要模块：首先，使用大语言模型提取输入文本的理性解释；其次，利用这些解释训练仇恨言论分类器。该框架结合了大语言模型的文本理解能力和分类器的判别能力。
关键创新：最重要的创新在于将大语言模型的理性解释与仇恨言论检测相结合，使得分类器在保持高性能的同时，具备了可解释性。这与传统的黑箱模型形成了鲜明对比。
关键设计：在模型训练过程中，采用了特定的损失函数以平衡可解释性与分类性能，同时在网络结构上进行了优化，以确保理性解释的有效提取。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM提取的理性解释在多个英语社交媒体仇恨言论数据集上表现出色，且在确保可解释性的同时，检测器的性能保持稳定，未出现显著下降。这一发现表明，模型的可解释性与性能之间并非对立关系。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容监控、在线社区管理和自动化内容审核等。通过提高仇恨言论检测的可解释性，能够增强用户对平台的信任，并为政策制定者提供更清晰的决策依据，未来可能对社交媒体的治理产生深远影响。
📄 摘要（原文）
Although social media platforms are a prominent arena for users to engage in interpersonal discussions and express opinions, the facade and anonymity offered by social media may allow users to spew hate speech and offensive content. Given the massive scale of such platforms, there arises a need to automatically identify and flag instances of hate speech. Although several hate speech detection methods exist, most of these black-box methods are not interpretable or explainable by design. To address the lack of interpretability, in this paper, we propose to use state-of-the-art Large Language Models (LLMs) to extract features in the form of rationales from the input text, to train a base hate speech classifier, thereby enabling faithful interpretability by design. Our framework effectively combines the textual understanding capabilities of LLMs and the discriminative power of state-of-the-art hate speech classifiers to make these classifiers faithfully interpretable. Our comprehensive evaluation on a variety of English language social media hate speech datasets demonstrate: (1) the goodness of the LLM-extracted rationales, and (2) the surprising retention of detector performance even after training to ensure interpretability. All code and data will be made available at https://github.com/AmritaBh/shield.