MasonPerplexity at Multimodal Hate Speech Event Detection 2024: Hate Speech and Target Detection Using Transformer Ensembles

📄 arXiv: 2402.01967v2 📥 PDF

作者: Amrita Ganguly, Al Nahian Bin Emran, Sadiya Sayara Chowdhury Puspo, Md Nishat Raihan, Dhiman Goswami, Marcos Zampieri

分类: cs.CL

发布日期: 2024-02-03 (更新: 2024-02-18)

💡 一句话要点

提出MasonPerplexity以解决多模态仇恨言论事件检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检测 仇恨言论识别 目标检测 Transformer模型 集成学习

📋 核心要点

  1. 多模态内容中仇恨言论的识别面临挑战，现有方法在处理文字与图像结合的攻击性表现时效果有限。
  2. 本文提出了MasonPerplexity，采用XLM-roBERTa-large模型和集成方法来分别解决仇恨言论和目标识别问题。
  3. 实验结果显示，子任务A和B的F1分数分别为0.8347和0.6741，均排名第三，表明方法有效性。

📝 摘要（中文）

自动识别仇恨言论等攻击性语言对于维护在线社区的文明讨论至关重要。在多模态内容中识别仇恨言论尤其具有挑战性，因为攻击性可能通过文字、图像或两者的结合表现出来。本文展示了MasonPerplexity在EACL 2024的多模态仇恨言论事件检测共享任务中的提交。任务分为两个子任务：子任务A专注于仇恨言论的识别，子任务B则关注在政治事件中识别文本嵌入图像中的目标。我们为子任务A使用了XLM-roBERTa-large模型，而子任务B则采用了结合XLM-roBERTa-base、BERTweet-large和BERT-base的集成方法。我们的方案在子任务A中获得了0.8347的F1分数，在子任务B中获得了0.6741的F1分数，均排名第三。

🔬 方法详解

问题定义：本文旨在解决多模态内容中仇恨言论和目标识别的具体问题。现有方法在处理文字与图像结合的攻击性表现时存在不足，难以有效识别。

核心思路：论文的核心解决思路是利用Transformer模型的强大表示能力，通过不同模型的集成来提高识别准确性。这种设计旨在充分利用各个模型的优势，增强整体性能。

技术框架：整体架构包括两个主要模块：子任务A使用XLM-roBERTa-large模型进行仇恨言论识别，子任务B则结合XLM-roBERTa-base、BERTweet-large和BERT-base进行目标识别。

关键创新：最重要的技术创新点在于采用了Transformer模型的集成方法，特别是在多模态内容中有效结合了文本和图像信息，与现有单一模型方法形成鲜明对比。

关键设计：在模型选择上，针对不同子任务选择了最适合的预训练模型，并在训练过程中优化了损失函数和超参数设置，以提升模型的识别能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MasonPerplexity在子任务A中取得了0.8347的F1分数，在子任务B中获得了0.6741的F1分数，均排名第三。这表明该方法在多模态仇恨言论检测任务中具有较强的竞争力，较现有方法有显著提升。

🎯 应用场景

该研究的潜在应用领域包括社交媒体监控、在线评论审核和政治事件分析等。通过提高仇恨言论和目标识别的准确性，可以有效维护网络环境的健康与安全，促进文明讨论。未来，该技术还可以扩展到其他类型的多模态内容分析中，具有广泛的社会价值。

📄 摘要（原文）

The automatic identification of offensive language such as hate speech is important to keep discussions civil in online communities. Identifying hate speech in multimodal content is a particularly challenging task because offensiveness can be manifested in either words or images or a juxtaposition of the two. This paper presents the MasonPerplexity submission for the Shared Task on Multimodal Hate Speech Event Detection at CASE 2024 at EACL 2024. The task is divided into two sub-tasks: sub-task A focuses on the identification of hate speech and sub-task B focuses on the identification of targets in text-embedded images during political events. We use an XLM-roBERTa-large model for sub-task A and an ensemble approach combining XLM-roBERTa-base, BERTweet-large, and BERT-base for sub-task B. Our approach obtained 0.8347 F1-score in sub-task A and 0.6741 F1-score in sub-task B ranking 3rd on both sub-tasks.