Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning
作者: Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian, Yubo Xie
分类: cs.CV
发布日期: 2026-08-27 (更新: 2026-08-28)
💡 一句话要点
提出CMPM基准以解决多面板中文表情包的视觉-语言推理问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉-语言模型 表情包理解 顺序敏感性 中文社交媒体 基准测试 幽默生成
📋 核心要点
- 现有的大型视觉-语言模型在单图像理解上表现良好，但在结构化表情包布局的顺序敏感推理上仍存在不足。
- 本文提出CMPM基准，专注于中文多面板表情包的顺序依赖性，通过两层评估方法来探讨面板排序和解释生成。
- 实验结果显示，顺序理解的缺口明显，尤其在随机条件下，准确率大幅下降，表明当前模型在顺序敏感推理上的局限性。
📝 摘要（中文）
许多多模态任务依赖于视觉元素的顺序和组合，而不仅仅是孤立识别。互联网表情包是这一问题的典型案例，其幽默效果常常依赖于特定的阅读顺序和跨面板的视觉-文本线索。本文提出了CMPM，一个包含1214个注释样本的中文多面板表情包基准，涵盖五种结构类型、顺序依赖性、面板顺序约束和可选评论上下文。我们设计了两层评估，Task1探讨结构类型和顺序敏感的面板排序，Task2评估中文表情包解释生成。实验结果表明，传统的显示准确性并不能证明顺序理解，主要的随机条件下准确率显著下降，揭示了顺序敏感的多模态推理的持续差距。
🔬 方法详解
问题定义：本文旨在解决大型视觉-语言模型在处理中文多面板表情包时的顺序敏感推理问题。现有方法在面对结构化布局时，往往忽视了视觉元素的顺序和组合的重要性，导致推理效果不佳。
核心思路：论文通过引入CMPM基准，强调表情包的结构类型和面板顺序对理解的影响，设计了两层评估机制以全面考察模型的推理能力。
技术框架：整体架构包括数据集构建、任务设计和模型评估三个主要模块。数据集涵盖不同结构类型的表情包，任务设计分为面板排序和解释生成，评估则通过人类评分和模型表现进行。
关键创新：最重要的创新在于引入了顺序敏感的评估标准，强调了面板顺序对理解的重要性，与现有方法的单一准确率评估形成鲜明对比。
关键设计：在实验中，采用了五种结构类型的表情包，并设计了上下文消融实验，使用了五个Likert维度（视觉、面板、幽默、上下文和忠实度）进行人类评分，确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在主要的随机条件下，模型的准确率显著下降，表明当前视觉-语言模型在顺序敏感推理上存在明显不足。Task2的评估中，Gemini 3.1 Pro和GPT-5.5的表现优于开放模型，显示出在中文表情包解释生成上的优势。
🎯 应用场景
该研究的潜在应用领域包括社交媒体内容分析、自动化表情包生成和多模态理解系统。通过提升模型在顺序敏感推理上的能力，可以更好地理解和生成符合文化语境的幽默内容，具有重要的实际价值和未来影响。
📄 摘要（原文）
Many multimodal tasks depend on how visual elements are ordered and composed, not only on recognizing them in isolation. Internet memes are a compact case of this problem: their punchline often depends on a constrained reading order and cross-panel visual--textual cues. While large vision-language models (LVLMs) show strong performance on single-image understanding, it remains unclear whether they can perform sequence-aware reasoning over structured meme layouts, especially in Chinese social media. We introduce CMPM, a Chinese Multi-Panel Meme benchmark with 1,214 annotated samples covering five structural types, ordering dependency, panel-order constraints, and optional comment context. We formulate a two-layer evaluation: Task1 probes structure typing and order-sensitive panel sequencing (with a context ablation setting), and Task2 evaluates Chinese meme explanation generation with human ratings on five 1-3 Likert dimensions (visual, panel, humor, context, and faithfulness). We benchmark five representative LVLMs under a unified protocol. Results indicate that canonical-display accuracy is not by itself evidence of order understanding: the primary shuffled condition produces a sharp accuracy drop, revealing a persistent gap in order-sensitive multimodal reasoning. Task2 preferences place Gemini 3.1 Pro and GPT-5.5 above the open models, while comment context yields only a small and mixed Core4 gain. Code and data will be released upon acceptance.