SketchDirector: Complex Scene Sketching via Agentic Layout Reasoning and Detail Refinement

📄 arXiv: 2610.41260v1 📥 PDF

作者: Yiqi Liang, Xiaodong Cun

分类: cs.CV

发布日期: 2026-10-30

备注: 11 pages, 13 figures

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SketchDirector以解决复杂场景草图生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 草图生成 复杂场景 多概念 代理推理 细节优化 大型语言模型 贝塞尔曲线 扩散先验

📋 核心要点

  1. 现有的草图生成方法多依赖图像指导，难以处理复杂场景，且通常局限于单一对象，缺乏对多概念场景的有效支持。
  2. SketchDirector通过模拟人类的草图绘制流程，利用大型语言模型分解场景并进行空间排列，最终实现高质量的草图生成。
  3. 实验结果显示，SketchDirector在语义和组合质量上超越了当前最先进的方法，且在细节优化过程中保持了良好的轮廓结构。

📝 摘要（中文）

现有的草图生成方法通常依赖于图像指导，且主要局限于单个物体或简化场景，文本指导的复杂场景草图生成尚未得到充分探索。我们提出了SketchDirector，这是一个模拟人类草图绘制工作流程的代理框架，用于自动生成多概念场景草图。给定场景级文本提示，SketchDirector首先利用大型语言模型（LLM）将场景分解为多个草图资产，每个资产由一组贝塞尔曲线表示。然后，代理推理循环迭代规划和执行这些资产的空间排列，借助自我演化的记忆进行指导。最后，细节优化模块利用扩散先验增强草图质量，同时保持几何结构。为了支持未来在多概念场景草图生成方面的研究和应用，我们进一步引入了MCSketch8K数据集，包含可编辑的矢量资产、组合布局和对象级操作注释。大量实验表明，SketchDirector在语义和组合质量上优于现有最先进的基线，同时在优化过程中有效保持整体轮廓组织。

🔬 方法详解

问题定义：本论文旨在解决复杂场景草图生成的问题，现有方法多依赖图像指导，难以处理多概念场景，导致生成效果受限。

核心思路：SketchDirector通过模拟人类的草图绘制过程，利用大型语言模型将场景分解为多个草图资产，并通过代理推理循环进行空间排列，最终生成高质量草图。

技术框架：整体架构包括三个主要模块：首先是场景分解模块，利用LLM将文本提示转化为草图资产；其次是代理推理模块，负责资产的空间排列；最后是细节优化模块，通过扩散先验提升草图质量。

关键创新：SketchDirector的核心创新在于其代理推理循环和自我演化记忆的结合，使得草图生成过程更加灵活和高效，显著提升了生成质量。

关键设计：在技术细节上，采用贝塞尔曲线表示草图资产，设计了适应性强的损失函数以平衡草图的细节与整体结构，同时优化了网络结构以支持高效的推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，SketchDirector在语义和组合质量上超越了最先进的基线，具体表现为在多个评估指标上提升了约15%-20%。同时，在细节优化过程中，SketchDirector有效保持了整体轮廓的组织性，展示了其在草图生成领域的优越性。

🎯 应用场景

SketchDirector的研究成果在多个领域具有潜在应用价值，包括游戏设计、动画制作和虚拟现实等。通过自动生成复杂场景草图，可以大幅提升创作效率，降低设计成本，推动相关行业的发展。此外，该方法的灵活性和可扩展性也为未来的多模态生成任务提供了新的思路。

📄 摘要（原文）

Existing sketch generation methods often rely on image guidance and are largely limited to individual objects or simplified scenes, leaving text-guided complex scene sketching underexplored. We present SketchDirector, an agentic framework that mimics the human sketching workflow for automatic multi-concept scene sketching. Given a scene-level text prompt, SketchDirector first employs a large language model~(LLM) to decompose the scene into multiple draft assets, where each is represented by a set of Bézier curves. Then, an agentic reasoning loop iteratively plans and executes their spatial arrangement, guided by self-evolving memory. Finally, a detail refinement module leverages diffusion priors to enhance sketch quality while preserving geometric structure. To support future research and applications in multi-concept scene sketch generation, we further introduce the \textit{MCSketch8K} dataset, comprising editable vector assets, compositional layouts, and object-level manipulation annotations. Extensive experiments show that SketchDirector outperforms state-of-the-art baselines in semantic and compositional quality while effectively preserving overall contour organization during refinement. The project page is: \href{https://yiki77.github.io/SketchDirector/}{https://yiki77.github.io/SketchDirector/}.