StructuredEdit: Constraint-Aware Graphic Design Editing via Differentiable Parameter Propagation

📄 arXiv: 2607.04612v1 📥 PDF

作者: Veeramanohar Avudaiappan, Ritwik Murali

分类: cs.GR, cs.CV

发布日期: 2026-07-06

备注: 3 page poster short paper.2 Figures, 2 Tables. Planned to submit to SIGGRAPH Asia

💡 一句话要点

提出StructuredEdit以解决图形设计编辑中的约束满足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图形设计 约束满足 可微参数传播 视觉-语言模型 设计编辑 机器学习 自动化设计

📋 核心要点

  1. 现有视觉-语言模型在图形设计编辑中仅能实现52%的约束满足，限制了其在专业领域的应用。
  2. 本文提出StructuredEdit，将设计编辑视为参数操作，核心技术是可微参数传播（DPP），通过反向传播实现约束的嵌入。
  3. 实验结果显示，StructuredEdit在约束满足率上达到89%，编辑时间减少33%，纠正迭代次数减少44%。

📝 摘要（中文）

图形设计编辑需要在严格的设计约束下精确操作排版、布局和视觉层次。尽管大型语言模型的引入促进了视觉-语言模型的应用，但现有模型在结构化设计编辑中仅能实现52%的约束满足，限制了其在专业工作流中的可靠性。本文提出StructuredEdit，将设计编辑重新定义为参数操作而非像素生成。核心技术贡献是可微参数传播（DPP），通过轻量级可微光栅化器将硬性设计约束嵌入视觉-语言模型的微调中。实验表明，该系统在约束满足率上达到89%，显著优于GPT-4V的52%。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言模型在图形设计编辑中无法有效满足设计约束的问题。现有方法主要基于像素生成，导致约束满足率低，无法满足专业需求。

核心思路：论文提出将设计编辑视为参数操作而非像素生成，通过可微参数传播（DPP）方法，将设计约束嵌入到模型训练中，从而提高约束满足率和编辑效率。

技术框架：整体架构包括一个轻量级的可微光栅化器和一个混合候选-过滤管道。该管道生成125k个经过验证的编辑三元组，支持高效的设计编辑。

关键创新：最重要的技术创新是可微参数传播（DPP），它通过反向传播机制将设计约束融入模型训练，显著提高了约束满足率，与传统像素生成方法本质上不同。

关键设计：在DPP中，设计约束通过损失函数进行量化，模型结构经过优化以支持高效的参数更新，确保在编辑过程中能够实时满足设计约束。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，StructuredEdit在约束满足率上达到89%，显著高于GPT-4V的52%。此外，编辑时间减少33%，纠正迭代次数减少44%，表明该方法在效率和准确性上均有显著提升。

🎯 应用场景

该研究的潜在应用领域包括平面设计、广告创作和用户界面设计等。通过提高设计编辑的效率和准确性，StructuredEdit能够显著提升设计师的工作流，降低设计过程中的时间和成本。未来，该技术有望在更广泛的创意领域中得到应用，推动设计自动化的发展。

📄 摘要（原文）

Graphic design editing requires precise manipulation of typography, layout, and visual hierarchy under strict design constraints. Following the introduction of large language models, organizations have increasingly promoted vision-language models to enhance productivity. However, current models operate on pixels and achieve only 52% constraint satisfaction on structured design edits, thereby limiting their reliability for professional workflows. We present StructuredEdit, a pipeline that reframes design editing as parameter manipulation rather than pixel generation. Our core technical contribution is Differentiable Parameter Propagation (DPP), a training method that embeds hard design constraints into vision-language model fine-tuning by backpropagating pixel-level constraint violations through a lightweight differentiable rasterizer. A hybrid candidate-and-filter pipeline produces 125k validated edit triplets. The resulting system reaches 89% constraint satisfaction versus 52% for GPT-4V, 0.82 matched-element Intersection over Union, and 76% top-1 font accuracy over the 100 most-frequent design typefaces. In a user study (N=35), editing time drops 33% and correction iterations drop 44% relative to a GPT-4V baseline.