ChartAnno: Evaluating MLLMs for Chart Annotation Generation

📄 arXiv: 2608.03464v1 📥 PDF

作者: Zhenghan Chen, Zekai Shao, Lidan Tan, Xin Lin, Xingchen Zeng, Yi Shan, Ziyue Lin, Xiaoliang Fu, Xinyuan Liu, Yuetong Guo, Fen Wang, Bongshin Lee, Siming Chen

分类: cs.AI, cs.CL, cs.HC

发布日期: 2026-08-04

💡 一句话要点

提出ChartAnno基准以评估多模态大语言模型的图表注释生成能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 图表注释 基准评估 语义理解 注释生成

📋 核心要点

  1. 现有多模态大语言模型在图表注释生成方面的能力尚未得到充分探索，尤其是在推断意图和解释语义方面存在挑战。
  2. 本文提出ChartAnno基准，包含1200个真实图表及其注释指令，旨在评估MLLMs在图表注释生成中的表现。
  3. 实验结果表明，专有模型整体表现更强，而大规模开源模型逐渐缩小差距，具体指令能提升注释质量。

📝 摘要（中文）

多模态大语言模型（MLLMs）在图表理解、生成和编辑方面取得了显著进展，但其对现有图表的注释能力仍未得到充分探索。图表注释是一项常见且具有挑战性的沟通任务，要求模型推断意图、解释图表语义并放置适当的文本或图形元素。为填补这一空白，本文提出了ChartAnno，一个用于评估MLLMs在图表注释生成方面的基准，包含1200个真实世界的图表及其配对的代码和注释指令。我们在两种主要输入设置下评估了10个代表性的MLLMs，并发现更具体的指令能提高注释质量，而推断抽象意图仍然是当前MLLMs面临的最大挑战。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在图表注释生成中的不足，尤其是推断意图和语义理解的挑战。现有方法在处理复杂图表时，往往无法准确生成符合语境的注释。

核心思路：提出ChartAnno基准，通过提供真实世界的图表及其注释指令，评估MLLMs的注释生成能力，强调语义基础和有效的注释设计。

技术框架：整体架构包括数据收集、注释指令设计和模型评估三个主要模块。数据收集阶段涵盖1200个图表，注释指令分为三种具体性级别，模型评估则在不同输入设置下进行。

关键创新：ChartAnno基准的提出是本研究的核心创新，填补了现有研究在图表注释生成评估方面的空白，提供了系统化的评估标准。

关键设计：在实验中，采用了不同的输入设置（仅图表代码、图表代码和图像、仅图像），并通过具体性指令提升注释质量，设计了相应的评估指标以衡量生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，专有模型在整体表现上优于开源模型，但后者逐渐缩小了差距。更具体的指令显著提高了注释质量，而仅提供图像的增益有限，主要体现在设计相关的指标上。

🎯 应用场景

该研究的潜在应用领域包括数据可视化、教育和商业智能等，能够帮助用户更好地理解和解释图表信息。未来，ChartAnno基准的发布将促进多模态大语言模型在图表注释生成方面的进一步研究与应用，推动相关技术的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have made significant progress in chart understanding, generation, and editing, but their ability to annotate existing charts remains underexplored. Annotating charts is a common yet challenging communicative task, requiring models to infer intended messages, interpret chart semantics, and place appropriate textual or graphical elements. To address this gap, we introduce ChartAnno, a benchmark for evaluating MLLMs on chart annotation generation. It contains 1,200 real-world charts with paired code and annotation instructions across three levels of instruction specificity. We evaluate 10 representative MLLMs under two primary input settings: (1) chart code alone and (2) both chart code and chart image, and further include a chart image-only ablation study. Results show that proprietary models remain stronger overall, although large-scale open-source models narrow the gap. More specific instructions improve annotation quality, while inferring abstract intent remains most difficult for current MLLMs. Providing chart images brings limited overall gains, with improvements mainly appearing in design-related metrics. These findings highlight chart annotation generation as a challenging task requiring semantic grounding and effective annotation design. Code and data will be released in a future version.