SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

📄 arXiv: 2608.09097v1 📥 PDF

作者: Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

分类: cs.CV

发布日期: 2026-08-10

备注: accepted by ACM MM 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出SI-Edit以解决草图指导的局部图像编辑精度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 草图编辑 图像处理 多模态学习 数据集构建 语义理解

📋 核心要点

  1. 现有方法在草图基础的图像编辑中难以实现像素级精度，尤其是在细粒度局部变形方面存在显著不足。
  2. 本文提出了SI-Data数据集，并开发了SI-Edit框架，结合了语义指令和几何约束，以实现更高精度的局部图像编辑。
  3. 实验结果显示，SI-Edit在结构控制方面优于基线方法，能够实现更精确的用户意图对齐，提升了编辑效果。

📝 摘要（中文）

尽管生成模型迅速发展，但在基于草图的图像编辑中实现像素级精度仍然是一个持续的挑战，尤其是在细粒度局部变形方面。这一问题主要源于缺乏高质量、公开可用的基准数据集，无法同时提供几何约束和语义指令。为了解决这一问题，本文首先介绍了SI-Data，一个专门为指令引导的局部草图编辑设计的高质量数据集。我们开发了一种自动化管道，利用多模态大语言模型（MLLMs）合成包含原始图像、局部几何草图、语义指令和相应编辑图像的四元组。通过提供可靠的空间锚点和明确的语义意图，SI-Data独特地实现了协作空间-语义学习。基于此，我们提出了一个名为SI-Edit的协作框架，将语义指令与精确的几何约束相结合。实验结果表明，SI-Edit在草图基础的图像编辑中提供了比基线更可靠的结构控制，并实现了与用户意图一致的精确像素级局部细化。

🔬 方法详解

问题定义：本文旨在解决基于草图的图像编辑中像素级精度不足的问题，现有方法在细粒度局部变形时表现不佳，主要由于缺乏高质量的基准数据集。

核心思路：论文提出了SI-Data数据集，利用多模态大语言模型生成包含原始图像、局部草图、语义指令和编辑图像的四元组，从而实现协作空间-语义学习。

技术框架：SI-Edit框架包括数据生成模块、语义指令解析模块和图像编辑模块，整体流程为：首先生成数据集，然后解析指令，最后进行图像编辑。

关键创新：SI-Data数据集的构建和SI-Edit框架的提出是本文的核心创新，前者提供了高质量的训练数据，后者实现了语义与几何的有效结合。

关键设计：在模型设计中，采用了特定的损失函数来优化草图与边缘的对齐，同时在网络结构上进行了调整，以增强对局部细节的捕捉能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SI-Edit在草图基础的图像编辑中相较于基线方法提供了更可靠的结构控制，尤其在草图与边缘对齐方面表现优异，达到了更高的像素级局部细化精度，具体性能提升幅度未知。

🎯 应用场景

该研究在图像编辑、计算机视觉和人机交互等领域具有广泛的应用潜力。通过实现高精度的草图指导编辑，能够提升设计工具的智能化水平，促进创意产业的发展。此外，未来可扩展至虚拟现实和增强现实等新兴领域，提升用户体验。

📄 摘要（原文）

Despite rapid advances in generative models, achieving pixel-level precision in sketch-based image editing remains a persistent challenge, particularly for fine-grained local deformations. This gap stems primarily from the critical shortage of high-quality, publicly available benchmark datasets that jointly provide geometric constraints and semantic instructions. To address this issue, we first introduce SI-Data, a high-quality dataset specifically designed for instruction-guided local sketch editing. We develop an automated pipeline leveraging Multimodal Large Language Models (MLLMs) to synthesize comprehensive quadruplets comprising original images, local geometric sketches, semantic instructions, and corresponding edited images. By providing both reliable spatial anchors and explicit semantic intent, SI-Data uniquely enables collaborative spatial-semantic learning. Building upon this, we propose a collaborative framework called SI-Edit that integrates semantic instructions with precise geometric constraints. Furthermore, to address the lack of standardized evaluation, we establish a comprehensive set of metrics designed to measure both structural fidelity (e.g., sketch-to-edge alignment) and semantic adherence. Experimental results demonstrate that SI-Edit provides more reliable structural control than baselines for sketch-based image editing, and achieves precise, pixel-level local refinements aligned with user intent. The data and code are released on the project page.