Text or Image? What is More Important in Cross-Domain Generalization Capabilities of Hate Meme Detection Models?

📄 arXiv: 2402.04967v1 📥 PDF

作者: Piush Aggarwal, Jawar Mehrabanian, Weigang Huang, Özge Alacam, Torsten Zesch

分类: cs.CL, cs.AI, cs.CV

发布日期: 2024-02-07

备注: Accepted at EACL'2024 Findings

💡 一句话要点

揭示文本在跨域仇恨表情检测中的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 仇恨言论检测 跨域泛化 多模态学习 文本分析 图像处理

📋 核心要点

  1. 现有的多模态仇恨表情检测模型在跨域泛化能力上存在显著不足，尤其是图像成分对训练数据集的敏感性。
  2. 论文提出通过分析文本和图像成分的贡献，揭示文本在跨域泛化中的核心作用，设计了相应的实验验证。
  3. 实验结果显示，文本模态的贡献显著高于图像模态，且引入图像标题反而降低了分类器的性能，F1值平均下降0.02。

📝 摘要（中文）

本文探讨了多模态仇恨表情检测中的跨域泛化挑战，提出了重要发现。研究表明，仇恨表情的文本成分是现有多模态分类器在不同领域中泛化的关键，而图像成分对特定训练数据集高度敏感。通过黑箱解释，我们发现文本模态的贡献平均为83%，而引入图像标题后，该贡献降至52%。此外，在新创建的混淆数据集上，文本混淆器的表现优于图像混淆器，平均F1提升为0.18。

🔬 方法详解

问题定义：本文旨在解决多模态仇恨表情检测模型在不同领域间泛化能力不足的问题，尤其是图像成分对特定数据集的敏感性。

核心思路：研究通过分析文本和图像成分的贡献，提出文本是实现跨域泛化的关键因素，设计实验验证这一假设。

技术框架：整体架构包括文本和图像的输入模块，分类器模块，以及性能评估模块。通过对比不同输入组合的分类效果，评估文本和图像的贡献。

关键创新：最重要的技术创新在于通过黑箱解释方法量化文本和图像对分类器性能的贡献，揭示文本在跨域泛化中的主导地位。

关键设计：在实验中，采用了标准的损失函数和网络结构，特别关注文本和图像输入的组合方式，确保能够准确评估各自的影响。引入的混淆数据集用于进一步验证模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，文本模态的贡献平均为83%，而引入图像标题后，该贡献降至52%。在新创建的混淆数据集上，文本混淆器的表现优于图像混淆器，平均F1提升为0.18，验证了文本在跨域泛化中的重要性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、在线社区管理和仇恨言论检测等。通过提高模型的跨域泛化能力，可以更有效地识别和处理不同来源的仇恨内容，具有重要的社会价值和实际意义。

📄 摘要（原文）

This paper delves into the formidable challenge of cross-domain generalization in multimodal hate meme detection, presenting compelling findings. We provide enough pieces of evidence supporting the hypothesis that only the textual component of hateful memes enables the existing multimodal classifier to generalize across different domains, while the image component proves highly sensitive to a specific training dataset. The evidence includes demonstrations showing that hate-text classifiers perform similarly to hate-meme classifiers in a zero-shot setting. Simultaneously, the introduction of captions generated from images of memes to the hate-meme classifier worsens performance by an average F1 of 0.02. Through blackbox explanations, we identify a substantial contribution of the text modality (average of 83%), which diminishes with the introduction of meme's image captions (52%). Additionally, our evaluation on a newly created confounder dataset reveals higher performance on text confounders as compared to image confounders with an average $Δ$F1 of 0.18.