Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment
作者: Zihao Wang, Xi Xiang, Yuwen Sun, Yingyu Li, Yabo Zhang, Yihan Zeng, Fan Li, Wangmeng Zuo
分类: cs.CV
发布日期: 2026-09-02
🔗 代码/项目: HUGGINGFACE
💡 一句话要点
提出TIC-Bench以解决多模态模型评估中的文本-图像深度交互问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态模型 文本-图像交互 评估基准 深度学习 逻辑关联 时间关联 空间关联
📋 核心要点
- 现有多模态模型评估主要集中于多图像任务，忽视了文本与图像的深度交互，导致模型在实际应用中表现不足。
- 本文提出TIC-Bench基准，专注于评估模型在深度交织文本-图像上下文中的线索整合能力，涵盖逻辑、时间和空间关联。
- 通过对10个最先进的多模态语言模型的评估，发现它们在处理交织输入时存在显著性能差距，表明该领域的研究亟待加强。
📝 摘要（中文）
当前多模态模型的评估和训练主要集中在多图像任务上，忽视了文本与图像的深度交互场景。文本通常仅作为任务指令，与视觉内容缺乏深层语义互动。为此，本文提出了一个新基准TIC-Bench，旨在评估模型在深度交织文本-图像上下文中整合线索的能力。该基准涵盖逻辑、时间和空间关联三个核心领域，共包含2280个问题。我们评估了10个最先进的多模态语言模型，发现与人类专家相比，模型在整合交织的视觉和文本输入方面存在显著性能差距。TIC-Bench为评估和提升多模态模型的能力提供了有价值的工具。
🔬 方法详解
问题定义：本文旨在解决当前多模态模型在深度交织文本-图像场景下评估不足的问题。现有方法多集中于多图像任务，缺乏对文本与图像深层语义互动的考量，导致模型在实际应用中表现不佳。
核心思路：论文提出TIC-Bench基准，设计用于评估模型在逻辑、时间和空间关联等深度交织上下文中整合文本与图像线索的能力。通过引入多样化的问题类型，增强模型对复杂场景的理解。
技术框架：TIC-Bench的整体架构包括三个核心领域：逻辑关联、时间关联和空间关联，每个领域下又细分为多个具体问题类型，形成2280个问题的完整数据集。模型通过这些问题进行评估，分析其在不同上下文中的表现。
关键创新：TIC-Bench的最大创新在于其针对深度交织文本-图像场景的评估设计，填补了现有评估方法的空白，强调了文本与图像之间的语义互动。
关键设计：在设计上，TIC-Bench采用了多样化的问题类型和结构，确保模型在不同的上下文中都能得到全面的评估。问题的设计考虑了逻辑、时间和空间的多重维度，增强了评估的深度和广度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，10个最先进的多模态语言模型在TIC-Bench基准上的表现与人类专家相比存在显著差距，尤其在整合交织的视觉和文本输入方面，表现出持续的困难。这表明当前模型在处理复杂多模态任务时仍需进一步提升。
🎯 应用场景
该研究的潜在应用领域包括文本-图像协作创作、角色跟踪和空间重建等实际场景。通过提升多模态模型在深度交织上下文中的理解能力，能够推动相关领域的技术进步，促进更智能的交互系统的发展。
📄 摘要（原文）
Current evaluations and training of multimodal models predominantly focus on multi-image tasks, largely overlooking interleaved text-image scenarios. In such multi-image tasks, text typically serves merely as task instructions, lacking deep semantic interaction with the visual content. In contrast, realworld applications like text-image co-creation, character tracking, and spatial reconstruction require constant interaction between text and images. Consequently, models must possess a deep understanding of these interleaved contexts. To bridge this gap, we introduce a novel benchmark, TIC-Bench (deeply interleaved Text-Image Contexts), designed to evaluate the capability of models to integrate text-image clues and recover the ground truth facts within deeply interleaved contexts. This benchmark encompasses three core domains: Logical, Temporal, and Spatial Association, which are further categorized into eight specific types, comprising a total of 2,280 questions. We evaluated 10 state-of-the-art MLLMs and observed a substantial performance gap compared to human experts, together with persistent difficulties in integrating evidence distributed across interleaved visual and textual inputs. Ultimately, this benchmark provides a valuable analytical tool for assessing and advancing the ability of multimodal models to effectively integrate text and image information in deeply interleaved contexts. TIC-Bench is publicly available at https://huggingface.co/datasets/pino10010/TIC-Bench