Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning

📄 arXiv: 2311.08110v3 📥 PDF

作者: Jingbiao Mei, Jinghong Chen, Weizhe Lin, Bill Byrne, Marcus Tomalin

分类: cs.CL, cs.CV

发布日期: 2023-11-14 (更新: 2024-10-30)

备注: ACL 2024 Main. The code is available from: https://github.com/JingbiaoMei/RGCL

DOI: 10.18653/v1/2024.acl-long.291

💡 一句话要点

通过检索引导对比学习提升仇恨表情包检测能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨表情包 多模态学习 对比学习 检索引导 嵌入空间 内容审核 网络安全

📋 核心要点

  1. 现有的CLIP基础系统在仇恨表情包的嵌入空间中对细微差异的敏感性不足，影响了仇恨分类的准确性。
  2. 论文提出通过检索引导的对比学习构建仇恨感知的嵌入空间，以提高对仇恨表情包的检测能力。
  3. 该方法在HatefulMemes数据集上取得了87.0的AUROC，超越了更大规模的多模态模型，展示了显著的性能提升。

📝 摘要（中文）

仇恨表情包在互联网中日益成为一个重要问题。检测仇恨表情包需要系统同时理解视觉和文本模态。我们的研究表明，现有基于CLIP的系统在表情包的嵌入空间中对微妙差异的敏感性不足，这对正确的仇恨分类至关重要。我们提出通过检索引导的对比训练构建一个仇恨感知的嵌入空间。该方法在HatefulMemes数据集上实现了87.0的AUROC，超越了更大规模的多模态模型。我们展示了一种基于检索的仇恨表情包检测系统，能够识别训练中未见的数据，从而允许开发者通过简单添加新示例来更新检测系统，而无需重新训练，这在不断演变的仇恨表情包环境中具有重要意义。

🔬 方法详解

问题定义：本论文旨在解决现有基于CLIP的仇恨表情包检测系统在嵌入空间中对细微差异敏感性不足的问题，这导致了仇恨分类的准确性下降。

核心思路：提出通过检索引导的对比学习方法，构建一个仇恨感知的嵌入空间，以便更好地捕捉表情包中的细微差异，从而提高检测性能。

技术框架：整体架构包括数据检索模块和对比学习模块。首先，通过检索模块获取与输入表情包相似的已标注样本，然后利用对比学习优化嵌入空间，使得仇恨表情包与非仇恨表情包在空间中更易区分。

关键创新：最重要的创新点在于引入检索引导的对比学习机制，使得模型能够在未见数据上进行有效的仇恨检测，这一方法与传统的训练方式有本质区别。

关键设计：在损失函数设计上，采用了对比损失以增强相似样本之间的距离，同时优化了嵌入空间的结构，确保模型对细微差异的敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在HatefulMemes数据集上，提出的方法实现了87.0的AUROC，显著超越了更大规模的多模态模型。这一结果表明，检索引导的对比学习在仇恨表情包检测中具有显著的性能优势，能够有效提升检测系统的准确性和适应性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体平台、内容审核系统和在线社区管理等。通过提升仇恨表情包的检测能力，可以有效减少网络暴力和仇恨言论的传播，促进网络环境的健康发展。未来，该方法还可以扩展到其他类型的多模态内容检测中，具有广泛的实际价值。

📄 摘要（原文）

Hateful memes have emerged as a significant concern on the Internet. Detecting hateful memes requires the system to jointly understand the visual and textual modalities. Our investigation reveals that the embedding space of existing CLIP-based systems lacks sensitivity to subtle differences in memes that are vital for correct hatefulness classification. We propose constructing a hatefulness-aware embedding space through retrieval-guided contrastive training. Our approach achieves state-of-the-art performance on the HatefulMemes dataset with an AUROC of 87.0, outperforming much larger fine-tuned large multimodal models. We demonstrate a retrieval-based hateful memes detection system, which is capable of identifying hatefulness based on data unseen in training. This allows developers to update the hateful memes detection system by simply adding new examples without retraining, a desirable feature for real services in the constantly evolving landscape of hateful memes on the Internet.