A Multimodal Reasoning Typology for Grounding Chart-Image Coherence in Science Communication
作者: Avina Nakarmi, Sohom Sen, Xun Song, Sreyashi Samaddar, Aritra Dasgupta
分类: cs.CV
发布日期: 2026-07-06
💡 一句话要点
提出多模态推理分类法以解决科学传播中的图表图像一致性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 科学传播 图表图像一致性 推理差距 数据可视化 领域专家评估 理解效果
📋 核心要点
- 现有方法未能有效表征科学出版物中图表与图像之间的关系，导致读者在理解科学主张时面临困难。
- 本文提出了一种基于推理差距的多模态分类法，系统地描述图表、图像和文本的联合作用及其对读者的要求。
- 通过与领域专家和非专家的评估对比，研究表明该分类法能够预测判断的一致性和分歧，提升理解效果。
📝 摘要（中文）
图表和图像在科学出版物中经常同时出现，但大多数计算工作未能表征它们的一致性。本文提出了一种多模态推理分类法，定义了R1至R5的推理差距，描述图表、图像和文本如何共同传达科学主张及其对读者的解释要求。通过分析79篇创伤性脑损伤论文中的32对图表-图像，研究表明该分类法能够系统识别图表和图像之间的成功与失败的连接，帮助设计者在科学传播中平衡文本与图表-图像的关系。
🔬 方法详解
问题定义：本文旨在解决科学传播中图表与图像之间一致性缺乏系统性表征的问题。现有方法往往依赖主观推断，无法准确识别读者的理解难点。
核心思路：提出了一种推理差距的分类法，R1至R5，系统性地描述图表、图像和文本的互动关系，帮助识别读者在理解过程中的具体需求。
技术框架：研究基于79篇创伤性脑损伤论文的图表-图像对，采用自下而上的方法构建推理分类法，结合神经科学专家的见解，形成完整的推理框架。
关键创新：该分类法的创新在于提供了一种系统化的机制来识别图表与图像之间的成功与失败，超越了传统主观推断的局限。
关键设计：研究中采用了定量评估方法，结合领域专家与非专家的判断，分析了25对图表-图像的描述，验证了推理分类法的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，推理分类法能够有效预测领域专家与非专家在25对图表-图像描述上的判断一致性，识别出上下文知识对理解的影响。这一方法显著提升了对科学主张的理解效果，提供了新的评估标准。
🎯 应用场景
该研究的潜在应用领域包括科学出版、教育和数据可视化等。通过提供系统化的推理框架，设计者可以更有效地平衡文本与图表-图像的关系，从而提升科学传播的效果，缩小专家与非专家之间的理解差距。
📄 摘要（原文）
Charts and images appear together throughout scientific publications, yet most computational work does not characterize their coherence. We argue that a chart, its accompanying image, and the caption that links them form a multimodal unit, and that the inferential work required to read it varies systematically. To capture this variation, we develop a typology of reasoning gaps, R1 through R5, that characterizes how chart, image, and text jointly convey a scientific claim, and the interpretive work this demands of the reader. Some pairs restate the same data, while in other pairs, charts are used to quantify a structure the image localizes, project image content onto an external variable, audit an image-based claim, or jointly construct a frame that neither panel can establish alone. The typology is anchored in the grounding theory of communication and was derived bottom-up, with a neuroscience expert, from a corpus of 79 traumatic brain injury papers and 32 chart-image pairs. Crucially, the levels provide a systematic mechanism for identifying where grounding succeeds or breaks down, rather than leaving it to subjective inference. We show this in a study in which a domain expert and three non-experts judge vision-language model (VLM) descriptions of 25 pairs: the level predicts where their judgments align and where they diverge, isolating the points at which contextual knowledge, not the figure, carries coherence. This typology thus offers figure designers a systematic way to balance text against chart-image pairs, bridging the expert-to-non-expert divide in reading a scientific takeaway.