GOAT-Bench: Safety Insights to Large Multimodal Models through Meme-Based Social Abuse
作者: Hongzhan Lin, Ziyang Luo, Bo Wang, Ruichao Yang, Jing Ma
分类: cs.CL, cs.AI
发布日期: 2024-01-03 (更新: 2025-02-28)
备注: The first work to benchmark Large Multimodal Models in safety insight on social media
💡 一句话要点
提出GOAT-Bench以评估多模态模型对社交滥用的识别能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 社交滥用 表情包 安全意识 基准评估 人工智能
📋 核心要点
- 现有大型多模态模型在识别表情包中隐含的社交滥用方面存在显著不足，尤其是对隐性仇恨和歧视内容的敏感性不足。
- 本文提出GOAT-Bench基准，包含6000多个多样化的表情包，旨在评估LMMs对社交滥用的识别能力。
- 实验结果显示，当前多模态模型在评估仇恨性、性别歧视和冒犯性内容方面表现不佳，亟需改进以实现安全的人工智能。
📝 摘要（中文）
社交媒体的快速发展改变了信息的创建和传播方式，但也导致了网络恶意行为的增加，尤其是通过表情包的隐性滥用。本文旨在评估大型多模态模型（LMMs）在识别表情包中隐含的社交滥用方面的能力。我们提出了GOAT-Bench基准，包含超过6000个多样化的表情包，涵盖隐性仇恨言论、性别歧视和网络欺凌等主题。实验结果表明，当前模型在安全意识方面仍存在不足，未能敏感地识别多种隐性滥用形式。GOAT-Bench及相关资源已公开，助力该领域的研究。
🔬 方法详解
问题定义：本文解决的问题是如何评估大型多模态模型在识别表情包中隐含社交滥用的能力。现有方法在处理表情包的隐性含义时面临挑战，导致对恶意内容的识别不足。
核心思路：论文的核心思路是构建一个全面的基准（GOAT-Bench），通过多样化的表情包来测试LMMs的识别能力，特别是对隐性滥用的敏感性。这样的设计旨在填补现有评估工具的空白。
技术框架：整体架构包括数据收集、基准构建和模型评估三个主要模块。首先，收集多样化的表情包，然后构建GOAT-Bench基准，最后对多种LMMs进行评估。
关键创新：最重要的技术创新点在于引入了一个专门针对社交滥用的多模态基准，GOAT-Bench，能够有效评估模型在识别隐性恶意内容方面的能力，这与现有的评估方法有本质区别。
关键设计：在设计中，选择了多样化的表情包，涵盖不同的社交滥用主题，并通过定量和定性的方法评估模型的表现，确保评估的全面性和准确性。实验中使用了多种损失函数和评估指标，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前多模态模型在识别隐性仇恨言论和性别歧视方面的准确率普遍低于50%，表明模型在安全意识方面存在显著不足。GOAT-Bench的引入为未来模型的改进提供了重要的参考依据。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容审核、在线社区管理和人工智能安全性评估。通过提升多模态模型对社交滥用的识别能力，可以有效减少网络暴力和歧视行为，促进更安全的在线环境。未来，该基准可能成为评估和改进多模态模型的重要工具。
📄 摘要（原文）
The exponential growth of social media has profoundly transformed how information is created, disseminated, and absorbed, exceeding any precedent in the digital age. Regrettably, this explosion has also spawned a significant increase in the online abuse of memes. Evaluating the negative impact of memes is notably challenging, owing to their often subtle and implicit meanings, which are not directly conveyed through the overt text and image. In light of this, large multimodal models (LMMs) have emerged as a focal point of interest due to their remarkable capabilities in handling diverse multimodal tasks. In response to this development, our paper aims to thoroughly examine the capacity of various LMMs (e.g., GPT-4o) to discern and respond to the nuanced aspects of social abuse manifested in memes. We introduce the comprehensive meme benchmark, GOAT-Bench, comprising over 6K varied memes encapsulating themes such as implicit hate speech, sexism, and cyberbullying, etc. Utilizing GOAT-Bench, we delve into the ability of LMMs to accurately assess hatefulness, misogyny, offensiveness, sarcasm, and harmful content. Our extensive experiments across a range of LMMs reveal that current models still exhibit a deficiency in safety awareness, showing insensitivity to various forms of implicit abuse. We posit that this shortfall represents a critical impediment to the realization of safe artificial intelligence. The GOAT-Bench and accompanying resources are publicly accessible at https://goatlmm.github.io/, contributing to ongoing research in this vital field.