ViSculpt: Visual-Centric Agentic Geometry Editing

📄 arXiv: 2608.24169v1 📥 PDF

作者: Bo Pang, Jiaqi Pan, Xiaocheng Zhang, Jiacheng Xu, Guoping Wang, Peng-Shuai Wang

分类: cs.CV, cs.GR, cs.HC

发布日期: 2026-08-25

💡 一句话要点

提出ViSculpt以解决3D几何编辑的复杂性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D几何编辑 多模态学习 视觉中心 用户交互 自然语言处理

📋 核心要点

  1. 现有的3D几何编辑方法依赖于复杂的脚本生成，难以实现感知驱动的局部编辑，且难以保持未修改区域的完整性。
  2. 本文提出了一种视觉中心的多代理系统，通过模拟人类艺术家的工作流程，直接在Blender中进行3D网格编辑，避免了脚本生成的复杂性。
  3. 实验结果显示，该系统能够有效执行局部网格编辑，并在遵循自然语言指令的同时保持输入资产的整体特征，展现出新的编辑方式。

📝 摘要（中文）

3D几何编辑是图形处理流程中关键但劳动密集的部分，艺术家需要将创意意图转化为复杂软件中的精确操作。大型语言模型（LLMs）在基于脚本的3D创作中展现出潜力，但脚本生成不适合对任意现有网格进行感知驱动的编辑。本文提出了一种视觉中心的、无训练的多代理系统，通过模拟人类艺术家的迭代工作流程，直接在Blender中编辑现有3D网格。该系统通过Blender GUI操作，利用多模态LLM代理观察视口，推理当前网格状态，并通过模拟用户交互执行局部编辑。实验结果表明，该方法能够遵循自然语言指令，进行代表性的局部网格编辑，并保持输入资产的整体特征。

🔬 方法详解

问题定义：本文旨在解决现有3D几何编辑方法在感知驱动编辑中的不足，尤其是在保持未修改区域完整性方面的挑战。现有方法通常依赖于复杂的脚本生成，难以实现直观的编辑。

核心思路：论文提出的解决方案是通过一个视觉中心的多代理系统，模拟人类艺术家的迭代工作流程，直接在Blender中进行编辑，而不是生成脚本或重建几何体。

技术框架：该系统的整体架构包括多个多模态LLM代理，这些代理观察Blender视口，推理当前网格状态，并通过模拟用户交互执行局部编辑。系统通过Blender GUI进行操作，确保编辑过程与人类艺术家的工作流程相似。

关键创新：最重要的技术创新在于采用了无训练的多代理系统，直接在3D编辑环境中进行视觉驱动的局部修改，与传统的脚本生成方法形成鲜明对比。

关键设计：系统设计中，代理的观察能力和推理能力是关键，确保能够理解当前网格状态并执行精准的局部编辑。具体的参数设置和交互模拟细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ViSculpt系统能够有效遵循自然语言指令，执行局部网格编辑，并保持输入资产的整体特征。与传统方法相比，该系统在编辑效率和用户体验上有显著提升，初步实验显示其在多项基准测试中表现优异。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、动画制作和虚拟现实等3D内容创作行业。通过简化3D几何编辑过程，ViSculpt能够提高艺术家的工作效率，降低学习曲线，促进创意表达的实现。未来，该方法可能会影响专业图形软件的设计和使用方式。

📄 摘要（原文）

3D geometry editing is a critical yet labor-intensive part of the graphics pipeline, requiring artists to translate creative intent into precise operations in complex professional software. Large language models (LLMs) have shown promise for script-based 3D creation, but script generation is less suited to perception-driven editing of arbitrary existing meshes, where execution must remain visually grounded and untouched regions should be preserved. We present a \emph{visual-centric}, training-free multi-agent system that edits existing 3D meshes directly in Blender by emulating the iterative workflow of human artists. Rather than generating scripts or regenerating geometry, our system operates through the Blender GUI: multimodal LLM agents observe the viewport, reason about the current mesh state, and execute localized edits through simulated user interactions. Experiments on a curated benchmark provide initial evidence that this agentic approach can follow natural language instructions, perform representative localized mesh edits, and preserve the overall identity of the input asset. Our results highlight a complementary regime for language-driven 3D editing: direct in-place modification of existing meshes within the native 3D editing workflow. We view this work as an exploratory step toward visual-centric agentic geometry editing in professional graphics software.