MMDS-Bench: Benchmarking Multimodal Large Language Models on Dynamic Stance in Social Media Interactions

📄 arXiv: 2608.30903v1 📥 PDF

作者: Yuzhe Ding, Kang He, Li Zheng, Shengwu Zheng, Teng Shi, Fei Li, Chong Teng, Donghong Ji

分类: cs.CL

发布日期: 2026-08-31

备注: Accepted by EMNLP 2026

💡 一句话要点

提出MMDS-Bench以解决社交媒体动态立场分类问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态立场分类 多模态学习 社交媒体分析 大型语言模型 推理能力评估

📋 核心要点

  1. 现有方法主要在文本环境中研究动态立场分类，忽视了多模态社交媒体内容的复杂性。
  2. 本文提出MMDS-Bench基准，包含3482个多模态实例，支持动态立场分类的多维度分析。
  3. 实验结果显示，当前多模态大型语言模型在动态立场理解上存在显著不足，尤其是在关系推理方面。

📝 摘要（中文）

动态立场分类模型关注回复如何响应其直接父消息，而非如何与固定主题相关。现有研究主要集中在文本环境中，而社交媒体互动越来越依赖于图像、截图、表情包等多模态内容。本文介绍了MMDS-Bench，这是一个用于社交媒体父子互动的多模态动态立场分类的诊断基准，包含3482个多模态实例，并标注了七类动态立场分类。我们还评估了12个多模态大型语言模型，并提出了一种基于参考的LLM-judge协议来评估推理质量。结果表明，当前的多模态大型语言模型在动态立场理解方面仍存在困难，尤其是在需要超越单独父消息和回复理解的关系推理的情况下。

🔬 方法详解

问题定义：本文旨在解决动态立场分类中多模态信息的融合问题。现有方法多集中于文本，未能有效处理图像和其他多模态内容的复杂性。

核心思路：提出MMDS-Bench基准，通过多模态实例的构建和挑战因素的标注，促进对动态立场的深入理解和分析。

技术框架：整体架构包括数据收集、标注、模型评估三个主要模块。数据收集阶段涵盖多模态实例的构建，标注阶段则引入七类动态立场分类和五个挑战因素，最后通过模型评估阶段验证模型的推理能力。

关键创新：最重要的创新在于引入了多模态动态立场分类的诊断基准，填补了现有研究在多模态社交媒体互动中的空白。

关键设计：在标注过程中，设置了七类动态立场和五个挑战因素，确保模型在多模态融合、非字面表达等方面的全面评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，评估的12个多模态大型语言模型在动态立场理解上表现不佳，尤其是在需要复杂关系推理的情况下，整体性能提升幅度有限，显示出当前技术的局限性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容分析、舆情监测和用户情感理解等。通过提升多模态动态立场分类的准确性，能够帮助企业和研究机构更好地理解用户互动，优化内容推荐和用户体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Dynamic stance classification models how a reply responds to its direct parent message, rather than how a post relates to a fixed topic. Existing work has mainly studied this problem in text-only settings, while social media interactions increasingly rely on images, screenshots, memes, reaction images, and cross-modal references. We introduce MMDS-Bench, a diagnostic benchmark for multimodal dynamic stance classification in social media parent-reply interactions. MMDS-Bench contains 3,482 multimodal instances annotated with a seven-label dynamic stance taxonomy, together with an 800-instance diagnostic subset that requires structured reasoning over parent understanding, reply understanding, and stance-relation inference. We further annotate each instance with five challenge factors covering multimodal fusion, parent framing, non-literal expression, interaction reasoning, and label-boundary ambiguity. We evaluate 12 closed-source and open-source multimodal large language models and propose a reference-grounded LLM-judge protocol for assessing reasoning quality. Results show that current MLLMs still struggle with multimodal dynamic stance understanding, especially in cases that require relational inference beyond separate parent and reply comprehension.