Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning
作者: Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian
分类: cs.CV
发布日期: 2026-08-27
💡 一句话要点
提出CMPM基准以解决中文多面板表情包的视觉-语言推理问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉-语言模型 表情包分析 顺序理解 中文处理
📋 核心要点
- 现有的大型视觉-语言模型在处理多面板表情包时，缺乏对元素顺序的理解，导致推理能力不足。
- 论文提出CMPM基准，通过结构化样本和双层评估，专注于顺序敏感的视觉-语言推理。
- 实验结果显示，顺序打乱条件下准确率显著下降，表明当前模型在顺序理解上存在明显不足。
📝 摘要（中文）
许多多模态任务依赖于视觉元素的顺序和组合，而不仅仅是孤立识别。互联网表情包是这一问题的紧凑案例：其笑点往往依赖于受限的阅读顺序和跨面板的视觉-文本线索。尽管大型视觉-语言模型在单图理解上表现出色，但它们在结构化表情包布局上的顺序感知推理能力仍不明确。我们引入了CMPM，一个包含1214个注释样本的中文多面板表情包基准，涵盖五种结构类型、顺序依赖、面板顺序约束和可选评论上下文。我们设计了两层评估，结果表明，经典显示准确性并不等同于顺序理解，主要的随机条件下准确率显著下降，揭示了顺序敏感多模态推理的持续差距。
🔬 方法详解
问题定义：本论文旨在解决中文多面板表情包中视觉元素的顺序感知推理问题。现有方法在处理这些结构化布局时，往往忽视了元素间的顺序关系，导致推理效果不佳。
核心思路：论文提出CMPM基准，包含多种结构类型和顺序依赖，通过双层评估机制，深入探讨模型在顺序理解上的能力。这样的设计旨在揭示模型在多模态推理中的潜在缺陷。
技术框架：整体架构包括两个主要任务：Task1评估结构类型和顺序敏感的面板排序，Task2则专注于生成中文表情包解释，结合人类评分进行综合评估。
关键创新：最重要的创新点在于引入了顺序依赖的评估机制，强调了在多面板表情包中元素顺序的重要性。这与现有方法的单一图像理解形成鲜明对比。
关键设计：在实验中，采用了五种结构类型的样本，设计了包含上下文消融的评估设置，并使用了Likert量表对生成的解释进行评分，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在经典显示条件下的准确率并不能反映模型的顺序理解能力，主要的随机条件下准确率下降显著，表明当前模型在顺序敏感推理上存在明显不足。Task2的评估结果显示，Gemini 3.1 Pro和GPT-5.5在生成解释方面优于开放模型，评论上下文的影响较小。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容分析、自动化表情包生成和多模态内容理解等。通过提升模型对顺序的理解能力，可以在多种实际场景中实现更精准的视觉-语言交互，推动相关技术的发展。
📄 摘要（原文）
Many multimodal tasks depend on how visual elements are ordered and composed, not only on recognizing them in isolation. Internet memes are a compact case of this problem: their punchline often depends on a constrained reading order and cross-panel visual--textual cues. While large vision-language models (LVLMs) show strong performance on single-image understanding, it remains unclear whether they can perform sequence-aware reasoning over structured meme layouts, especially in Chinese social media. We introduce CMPM, a Chinese Multi-Panel Meme benchmark with 1,214 annotated samples covering five structural types, ordering dependency, panel-order constraints, and optional comment context. We formulate a two-layer evaluation: Task1 probes structure typing and order-sensitive panel sequencing (with a context ablation setting), and Task2 evaluates Chinese meme explanation generation with human ratings on five 1-3 Likert dimensions (visual, panel, humor, context, and faithfulness). We benchmark five representative LVLMs under a unified protocol. Results indicate that canonical-display accuracy is not by itself evidence of order understanding: the primary shuffled condition produces a sharp accuracy drop, revealing a persistent gap in order-sensitive multimodal reasoning. Task2 preferences place Gemini 3.1 Pro and GPT-5.5 above the open models, while comment context yields only a small and mixed Core4 gain. Code and data will be released upon acceptance.