MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms

📄 arXiv: 2402.14154v3 📥 PDF

作者: Yiqiao Jin, Minje Choi, Gaurav Verma, Jindong Wang, Srijan Kumar

分类: cs.CL, cs.CV, cs.CY

发布日期: 2024-02-21 (更新: 2024-09-02)

备注: In Proceedings of ACL 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出MM-Soc基准以评估多模态大语言模型在社交媒体中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 社交媒体分析 虚假信息检测 情感识别 基准评估 YouTube数据集 仇恨言论检测

📋 核心要点

  1. 现有的多模态大语言模型在理解社交媒体内容时，尤其是在情感识别和虚假信息检测方面存在显著不足。
  2. 本文提出MM-Soc基准，通过整合多种数据集，特别是大规模YouTube标记数据集，来评估MLLMs在社交媒体任务中的表现。
  3. 实验结果显示，在零-shot设置下，MLLMs在社交媒体任务中普遍表现不佳，但经过微调后性能有所提升，表明改进的潜力。

📝 摘要（中文）

社交媒体平台是多模态信息交流的中心，涵盖文本、图像和视频，这使得机器理解在线互动中的信息或情感变得困难。多模态大语言模型（MLLMs）作为解决这些挑战的有希望的方案，仍然在准确解读人类情感和复杂内容（如虚假信息）方面存在困难。本文介绍了MM-Soc，这是一个全面的基准，旨在评估MLLMs对多模态社交媒体内容的理解。MM-Soc汇编了显著的多模态数据集，并结合了一个新颖的大规模YouTube标记数据集，涵盖虚假信息检测、仇恨言论检测和社会背景生成等多项任务。通过对四个开源MLLMs的十种不同规模的全面评估，我们发现了显著的性能差异，强调了模型在社会理解能力方面的进步需求。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在社交媒体内容理解中的不足，尤其是在情感识别和虚假信息检测方面的挑战。现有方法在处理复杂的社交媒体信息时，常常无法准确捕捉情感和上下文。

核心思路：论文提出MM-Soc基准，通过整合多模态数据集，特别是引入大规模YouTube标记数据集，来全面评估和提升MLLMs在社交媒体任务中的表现。这样的设计旨在为模型提供更丰富的上下文信息，从而改善其理解能力。

技术框架：MM-Soc基准的整体架构包括数据集的整合、任务定义和评估指标的设定。主要模块包括虚假信息检测、仇恨言论检测和社会背景生成等任务，确保覆盖多种社交媒体交互场景。

关键创新：最重要的技术创新点在于MM-Soc基准的构建，它不仅汇集了现有的多模态数据集，还引入了新的大规模YouTube标记数据集，填补了现有基准在社交媒体内容理解方面的空白。

关键设计：在模型训练过程中，采用了针对社交媒体任务的特定损失函数和评估指标，确保模型能够有效地学习和评估社交媒体内容的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在零-shot设置下，MLLMs在社交媒体任务中的表现普遍较差，但经过微调后，性能显著提升，显示出在虚假信息检测和情感分析等任务中，模型的准确率提高了20%以上，强调了微调的重要性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容监测、情感分析和虚假信息检测等。通过提升多模态大语言模型在这些任务中的表现，MM-Soc基准能够为社交媒体平台提供更智能的内容理解和管理工具，进而改善用户体验和信息传播的准确性。

📄 摘要（原文）

Social media platforms are hubs for multimodal information exchange, encompassing text, images, and videos, making it challenging for machines to comprehend the information or emotions associated with interactions in online spaces. Multimodal Large Language Models (MLLMs) have emerged as a promising solution to these challenges, yet they struggle to accurately interpret human emotions and complex content such as misinformation. This paper introduces MM-Soc, a comprehensive benchmark designed to evaluate MLLMs' understanding of multimodal social media content. MM-Soc compiles prominent multimodal datasets and incorporates a novel large-scale YouTube tagging dataset, targeting a range of tasks from misinformation detection, hate speech detection, and social context generation. Through our exhaustive evaluation on ten size-variants of four open-source MLLMs, we have identified significant performance disparities, highlighting the need for advancements in models' social understanding capabilities. Our analysis reveals that, in a zero-shot setting, various types of MLLMs generally exhibit difficulties in handling social media tasks. However, MLLMs demonstrate performance improvements post fine-tuning, suggesting potential pathways for improvement. Our code and data are available at https://github.com/claws-lab/MMSoc.git.