CLBench-V: Evaluating Multimodal Context Learning from Grounding to Knowledge Acquisition

📄 arXiv: 2607.25294v1 📥 PDF

作者: Lai Wei, Chengqi Li, Jiapeng Li, Ruina Hu, Yue Wang, Weiran Huang

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2026-07-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出CLBench-V以解决多模态上下文学习评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 上下文学习 基准评估 数据集构建 科学研究 金融分析 空间推理

📋 核心要点

  1. 现有方法主要集中在文本上下文的学习，忽视了多模态上下文的复杂性和实际应用需求。
  2. 本文提出CLBench-V基准，通过三个维度组织任务，支持多模态上下文学习的评估与比较。
  3. 实验结果表明，当前多模态模型在上下文学习方面的表现仍然较低，最佳得分仅为0.2847，显示出进一步研究的必要性。

📝 摘要（中文）

现实世界任务通常需要模型从特定任务上下文中学习，而不仅仅依赖于预训练知识。尽管近期研究强调了这一能力，但现有评估主要集中在文本上下文上。实际应用中，学习的上下文往往是多模态的。本文介绍了CLBench-V，一个针对多模态上下文学习的基准，组织任务围绕上下文定位、新信息应用和新知识学习三个维度。CLBench-V结合了公共基准和新构建的数据集，涵盖科学、金融、长文档理解、空间推理和基于网络的视觉问答等领域。通过自动化构建和筛选程序，减少了构建领域特定上下文学习任务的成本。实验结果显示，当前多模态上下文学习仍有很大提升空间。

🔬 方法详解

问题定义：本文旨在解决多模态上下文学习的评估问题，现有方法主要关注文本，缺乏对多模态信息的有效利用，导致评估结果的局限性。

核心思路：CLBench-V通过引入多模态数据集和任务，围绕上下文定位、新信息应用和新知识学习三个维度进行评估，旨在全面提升多模态上下文学习的能力。

技术框架：整体架构包括数据集构建、任务设计和评估指标，结合公共基准和新数据集，涵盖多个领域，确保评估的广泛性和有效性。

关键创新：最重要的创新在于引入了多模态上下文学习的评估框架，突破了传统文本评估的局限，提供了更全面的评估视角。

关键设计：在数据集构建中，采用自动化构建和筛选程序，确保数据集的质量和多样性，同时设计了适应多模态学习的损失函数和评估指标。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在3443个实例和六个多模态模型中，最佳得分仅为0.2847，表明多模态上下文学习仍有很大提升空间。InternVL3.5-30B-A3B在上下文定位和新知识学习方面表现最佳，而Qwen3.5-Plus在新信息应用上表现突出。

🎯 应用场景

该研究的潜在应用领域包括科学研究、金融分析、长文档处理和空间推理等。通过提升多模态上下文学习的能力，CLBench-V能够帮助开发更智能的系统，支持复杂决策和信息提取，具有重要的实际价值和未来影响。

📄 摘要（原文）

Real-world tasks often require models to learn from task-specific context rather than relying only on pre-trained knowledge. While recent work has highlighted this capability as context learning, existing evaluations mainly focus on textual contexts. In many practical settings, however, the context to be learned from is multimodal: scientific findings are conveyed through figures and tables, financial indicators are scattered across converted reports, and spatial decisions depend on maps, scenes, or web pages. We introduce CLBench-V, a benchmark for multimodal context learning that addresses the difficulty of localizing where context use breaks down by organizing tasks around three dimensions: context grounding, new information application, and new knowledge learning. CLBench-V combines converted public benchmarks with newly constructed datasets spanning domains such as science, finance, long-document understanding, spatial reasoning, and web-based visual question answering. To reduce the cost of constructing domain-specific context-learning tasks, we further use automated construction and filtering procedures for our newly built datasets. Across 3,443 instances and six recent multimodal models, the best overall score is only 0.2847, indicating that multimodal context learning remains far from saturated. Moreover, InternVL3.5-30B-A3B performs best on context grounding and new knowledge learning, while Qwen3.5-Plus performs best on new information application. We further analyze judge reliability, context length, image count, and representative failure cases. Code is available at https://github.com/IamLihua/CLBench-V.