Decoding Memes: Benchmarking Narrative Role Classification across Multilingual and Multimodal Models
作者: Shivam Sharma, Tanmoy Chakraborty
分类: cs.CL, cs.CY
发布日期: 2025-06-29
备注: This work has been submitted to the IEEE for possible publication
💡 一句话要点
提出多语言多模态模型以解决互联网表情包叙事角色分类问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 叙事角色分类 多语言模型 多模态学习 提示设计 文化背景 表情包分析 机器学习
📋 核心要点
- 核心问题：现有方法在识别互联网表情包中的叙事角色时面临挑战，尤其是在文化和语言混合内容的泛化能力不足。
- 方法要点：论文提出了一种基于多语言和多模态模型的角色分类方法，利用更平衡的标注数据集和提示设计策略。
- 实验或效果：实验结果显示，较大的模型在角色识别上有显著提升，但在'受害者'类的识别上仍存在困难。
📝 摘要（中文）
本研究探讨了在互联网表情包中识别叙事角色（英雄、反派、受害者及其他）的挑战，涵盖英语及混合语言（英语-印地语）的三个测试集。基于最初偏向'其他'类的标注数据集，我们探索了更平衡且语言多样的扩展数据集。通过全面的词汇和结构分析，揭示了真实表情包中细腻、文化特定且丰富的语言使用，与合成的仇恨内容相比，后者则表现出明显且重复的词汇特征。为了基准化角色检测任务，我们评估了多种模型，包括微调的多语言变换器、情感和滥用意识分类器、指令调优的LLM及多模态视觉-语言模型。尽管较大的模型如DeBERTa-v3和Qwen2.5-VL表现出显著提升，但在可靠识别'受害者'类及跨文化和混合内容的泛化方面仍面临挑战。我们还探索了提示设计策略，发现结合结构化指令和角色定义的混合提示提供了边际但一致的改进。我们的研究强调了文化基础、提示工程和多模态推理在建模视觉-文本内容中微妙叙事框架的重要性。
🔬 方法详解
问题定义：本研究旨在解决在互联网表情包中识别叙事角色（如英雄、反派、受害者等）的具体问题。现有方法在处理文化和语言混合内容时，泛化能力不足，导致角色识别的准确性低下。
核心思路：论文的核心思路是通过构建一个更平衡且多样化的标注数据集，结合多语言和多模态模型，来提高叙事角色的识别能力。通过引入提示设计策略，指导模型更好地理解和分类角色。
技术框架：整体架构包括数据集构建、模型选择与训练、提示设计和性能评估四个主要模块。首先，构建多语言和多模态的标注数据集；其次，选择多种模型进行训练，包括微调的变换器和多模态模型；然后，设计适当的提示以优化模型性能；最后，通过精度、召回率和F1指标评估模型表现。
关键创新：最重要的技术创新点在于提出了一种结合文化背景的提示设计策略，能够有效提升多模态模型在叙事角色分类任务中的表现。这一方法与现有的单一语言或单一模态方法有本质区别。
关键设计：在模型训练中，采用了多种损失函数以适应不同角色的分类需求，并对模型参数进行了细致调优。此外，提示设计中结合了结构化指令和角色定义，以引导模型更好地理解任务。
📊 实验亮点
实验结果表明，使用DeBERTa-v3和Qwen2.5-VL等大型模型在角色识别任务中取得了显著提升，尤其是在精度和F1分数上。然而，'受害者'类的识别仍然存在挑战，提示设计策略的引入虽然带来了边际改进，但在整体性能上表现一致。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容分析、在线社区管理和自动化内容审核等。通过提高对表情包中叙事角色的识别能力，可以帮助平台更好地理解用户生成内容的情感和意图，从而提升用户体验和内容管理的效率。未来，该方法还可能扩展到其他类型的多模态内容分析中。
📄 摘要（原文）
This work investigates the challenging task of identifying narrative roles - Hero, Villain, Victim, and Other - in Internet memes, across three diverse test sets spanning English and code-mixed (English-Hindi) languages. Building on an annotated dataset originally skewed toward the 'Other' class, we explore a more balanced and linguistically diverse extension, originally introduced as part of the CLEF 2024 shared task. Comprehensive lexical and structural analyses highlight the nuanced, culture-specific, and context-rich language used in real memes, in contrast to synthetically curated hateful content, which exhibits explicit and repetitive lexical markers. To benchmark the role detection task, we evaluate a wide spectrum of models, including fine-tuned multilingual transformers, sentiment and abuse-aware classifiers, instruction-tuned LLMs, and multimodal vision-language models. Performance is assessed under zero-shot settings using precision, recall, and F1 metrics. While larger models like DeBERTa-v3 and Qwen2.5-VL demonstrate notable gains, results reveal consistent challenges in reliably identifying the 'Victim' class and generalising across cultural and code-mixed content. We also explore prompt design strategies to guide multimodal models and find that hybrid prompts incorporating structured instructions and role definitions offer marginal yet consistent improvements. Our findings underscore the importance of cultural grounding, prompt engineering, and multimodal reasoning in modelling subtle narrative framings in visual-textual content.