VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?

📄 arXiv: 2608.10408v1 📥 PDF

作者: Mizanur Rahman, Arshia Azimlu, Shadikur Rahman, Md Tahmid Rahman Laskar, Amran Bhuiyan, Shafiq Joty, Enamul Hoque Prince

分类: cs.CL

发布日期: 2026-08-11

🔗 代码/项目: GITHUB

💡 一句话要点

提出VisEditBench以解决多模态反馈下可视化代码编辑问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 可视化代码 多模态反馈 迭代编辑 数据可视化 人工智能

📋 核心要点

  1. 现有方法主要评估从零开始的生成，缺乏对多模态反馈下可视化代码编辑的研究。
  2. 论文提出VisEditBench基准，包含真实工作流中的可视化代码编辑任务，旨在填补这一空白。
  3. 实验结果显示，Claude-4.6-Sonnet在整体通过率上达到74.46%，而大多数开源模型低于50%。

📝 摘要（中文）

视觉语言模型（VLMs）在从文本或视觉规范生成可视化代码方面表现出色。然而，现实中的可视化创作往往是迭代的，用户需要频繁修订现有可视化以修复错误或适应所需风格。现有基准主要评估从零开始的生成，尚未深入探索基于多模态反馈的可视化代码编辑。为此，我们提出了VisEditBench，这是一个包含1,395个人工标注的可视化代码编辑任务的基准，涵盖了现实可视化工作流和失败案例。通过评估20种最先进的VLMs，我们发现可视化代码编辑依然具有挑战性。为建立强基线，我们进一步提出了VisEditAgent，一个基于渲染的编辑框架，显著提高了整体通过率。

🔬 方法详解

问题定义：本论文旨在解决现有视觉语言模型在多模态反馈下进行可视化代码编辑的不足，尤其是在修复错误和风格适配方面的挑战。现有基准主要集中在从零开始的生成，缺乏对迭代编辑过程的评估。

核心思路：论文提出VisEditBench基准，包含1,395个任务，涵盖反馈引导的修复和参考引导的重新造型，以评估模型在实际工作流中的表现。通过引入VisEditAgent框架，利用渲染反馈进行迭代编辑，提升模型的编辑能力。

技术框架：VisEditAgent框架包括生成、执行、验证和细化候选编辑的多个阶段。模型首先生成编辑建议，然后执行这些建议，接着验证其有效性，最后根据反馈进行细化。

关键创新：最重要的创新在于引入了基于渲染的反馈机制，使得可视化编辑更加真实和有效。这一方法与传统的静态文本反馈方法有本质区别，能够更好地适应用户的需求。

关键设计：在设计中，VisEditAgent采用了GPT-4o作为基础模型，并通过迭代过程优化编辑建议，关键参数设置和损失函数设计旨在最大化编辑的准确性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Claude-4.6-Sonnet在可视化代码编辑任务中取得了74.46%的整体通过率，而大多数开源模型的通过率低于50%。通过引入VisEditAgent框架，整体通过率从55.75%提升至67.99%，显示出渲染反馈在可视化编辑中的重要性。

🎯 应用场景

该研究的潜在应用领域包括数据可视化工具、商业智能平台和教育软件等。通过提升可视化代码的编辑能力，用户能够更高效地修复和调整可视化内容，从而提高数据分析的准确性和可读性。未来，该技术可能会推动可视化创作的自动化和智能化发展。

📄 摘要（原文）

Vision-language models (VLMs) have shown strong capabilities in generating visualization code from textual or visual specifications. However, real-world visualization authoring is inherently iterative: users frequently revise existing visualizations to repair flawed charts or adapt them to desired styles. Existing benchmarks primarily evaluate generation from scratch, leaving visualization code editing from multimodal feedback largely unexplored. We introduce VisEditBench, a benchmark of 1,395 human-annotated visualization code-editing tasks grounded in realistic visualization workflows and failure cases. VisEditBench covers two practical settings: feedback-guided repair, where models revise visualization code using buggy or marked charts together with textual feedback, and reference-guided restyling, where models modify code to match a target chart image. Evaluating 20 state-of-the-art VLMs reveals that visualization code editing remains challenging: Claude-4.6-Sonnet achieves the best overall pass rate of 74.46%, while most open-source models remain below 50%. Performance is particularly weak on visually grounded style adaptation, where Claude-4.6-Sonnet achieves only 55.71%. To establish a strong baseline, we further propose VisEditAgent, a render-grounded editing framework that iteratively generates, executes, validates, and refines candidate edits. Built on GPT-4o, VisEditAgent improves overall pass rate from 55.75% to 67.99%, demonstrating the importance of render-grounded feedback for faithful visualization editing. We will release VisEditBench at https://github.com/vis-nlp/VisEditBench.