Edit2TikZ: A Comprehensive and Challenging Benchmark for Scientific Figure Editing with TikZ
作者: Zongyun Zhang, Jiacheng Ruan, Xian Gao, Ruizhu Zhou, Lingcheng Meng, Lining Hu, Ting Liu, Yuzhuo Fu
分类: cs.CV
发布日期: 2026-08-13
备注: 9 pages, 6 figures, work in progress
🔗 代码/项目: GITHUB
💡 一句话要点
提出Edit2TikZ以解决科学图形编辑的挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学图形编辑 多模态大型语言模型 TikZ 基准测试 人类对齐评估 课程学习 编译成功率
📋 核心要点
- 现有的科学图形编辑方法在恢复视觉结构和生成可编译代码方面存在显著不足，尤其是在处理复杂的编辑请求时。
- 论文提出Edit2TikZ基准，结合真实和合成的编辑案例，支持多种编辑请求，并引入人类对齐的评估框架，以提高编辑的准确性和可靠性。
- 通过对Qwen3.5-4B模型的训练，编译成功率从45.35%提升至83.40%，在多个评估指标上平均提升18.7分，显示出显著的改进效果。
📝 摘要（中文）
尽管多模态大型语言模型（MLLMs）在视觉理解和图形代码生成方面展现出潜力，但通过代码编辑科学图形仍然面临更大挑战：模型必须共同恢复视觉结构、定位请求的更改、生成可编译代码并保留所有无关内容。现有的TikZ基准主要集中在图形重建和生成上，系统评估指令引导的科学图形编辑的研究较少。我们提出Edit2TikZ，这是一个全面的科学图形编辑基准，包含1548个多样且高质量的样本，结合了真实和受控的合成编辑案例，支持文本和视觉定位请求，并包含多步骤编辑及其逐步注释。我们还构建了一个人类对齐的评估框架，以衡量请求的编辑是否完成，同时保留无关内容。利用Edit2TikZ，我们评估了14个主流MLLMs，发现当前系统仍不可靠：平均而言，专有模型的编译成功率仅为75%。
🔬 方法详解
问题定义：论文要解决的具体问题是如何通过代码有效地编辑科学图形，现有方法在处理复杂编辑请求时常常无法同时恢复视觉结构和生成可编译代码，导致编辑效果不佳。
核心思路：论文的核心解决思路是构建一个全面的基准Edit2TikZ，结合真实和合成的编辑案例，支持多种编辑请求，并通过人类对齐的评估框架来确保编辑的准确性和无关内容的保留。
技术框架：整体架构包括数据集构建、编辑请求处理、代码生成和评估四个主要模块。数据集包含1548个样本，涵盖多种编辑场景，评估模块则通过人类对齐的方法来验证编辑的完成度。
关键创新：最重要的技术创新点在于引入了人类对齐的评估框架和多步骤编辑的逐步注释，这与现有方法的单一评估标准形成了鲜明对比，能够更全面地评估编辑效果。
关键设计：在模型训练中，采用了混合训练集TikZEditMix，并引入了重建-再编辑的课程学习策略，针对紧凑模型进行了优化，显著提高了编译成功率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前主流的MLLMs在科学图形编辑任务中的编译成功率平均仅为75%。通过对Qwen3.5-4B模型的训练，编译成功率显著提升至83.40%，在多个评估指标上平均提升18.7分，表明该方法在科学图形编辑中的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括科学研究、教育和工程设计等，能够帮助研究人员和工程师更高效地编辑和生成科学图形，提升图形表达的准确性和可读性。未来，该方法有望在自动化图形生成和编辑工具中得到广泛应用，推动科学交流的效率和质量。
📄 摘要（原文）
Although multimodal large language models (MLLMs) have shown substantial potential in visual understanding and graphic code generation, editing scientific figures through code presents a greater challenge: a model must jointly recover visual structure, ground the requested change, generate compilable code, and preserve all unrelated content. While existing TikZ benchmarks mainly focus on figure reconstruction and generation, few systematically evaluate instruction-guided scientific figure editing with compilable code. We introduce Edit2TikZ, a comprehensive benchmark for scientific figure editing tasks, featuring 1,548 diverse and high-quality samples. Edit2TikZ combines real-world and controlled synthetic edit cases, supports both textual and visual localization request, and contains multi-step editing, each with step-level annotations. We further construct a human-aligned evaluation framework to measure whether a requested edit is completed while irrelevant content is preserved. Utilizing Edit2TikZ, we evaluate 14 mainstream MLLMs and find that current systems remain unreliable: on average, proprietary models achieve a compilation success rate of merely 75% and remain limited in both figure restoration and edit correctness, while compact models below 9B struggle further with instruction following and complete figure generation. Therefore, we build a mixed training set TikZEditMix and adopt reconstruction-then-editing curriculum learning for compact models. On Qwen3.5-4B, this training improves the compilation success rate from 45.35% to 83.40% and yields an average improvement of 18.7 points across our proposed evaluation metrics. The code and data will be released at https://github.com/Solunny/Edit2TikZ.