SeMo3D: Unifying 3D Generation, Editing, and Completion via Selective Modeling

📄 arXiv: 2611.02568v1 📥 PDF

作者: Xiaokun Sun, Jian Yang, Zhenyu Zhang

分类: cs.CV

发布日期: 2026-11-02

备注: Project page: https://xiaokunsun.github.io/SeMo3D.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SeMo3D以解决3D生成、编辑和补全任务的统一问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D生成 3D编辑 3D补全 选择性建模 多模态融合 深度学习 计算机视觉

📋 核心要点

  1. 现有方法通常将3D生成、编辑和补全视为独立任务，导致内容不一致和对特定数据的依赖。
  2. 论文提出选择性建模的范式，统一三项任务，保持不变内容，并允许无配对数据训练。
  3. 实验结果显示，SeMo3D在多个基准测试中超越了现有方法，提供了更强的可控性和一致性。

📝 摘要（中文）

3D生成、编辑和补全通常被视为在特定任务约束下重新生成完整的3D资产，即使仅需修改局部区域。这导致任务孤立、内容不一致以及对特定配对数据的依赖。我们通过关键观察提出了选择性建模的范式，构建了SeMo3D，统一了这三项任务，保持了不变内容的完整性，并允许在没有配对编辑或补全数据的情况下进行训练。我们提出了区域选择性去噪的方法，随机选择标准3D资产的不同大小区域进行噪声和损失应用，联合学习三项任务。我们的Omni3DiT架构能够区分需要生成和保留的区域，并融合图像、文本和点引导，实现精细控制。实验结果表明，SeMo3D在所有任务上超越了现有最先进的方法，提供了多模态可控性和强一致性。

🔬 方法详解

问题定义：论文要解决的问题是如何有效地统一3D生成、编辑和补全任务，现有方法在处理局部修改时往往导致内容不一致和任务孤立，且依赖于特定的配对数据。

核心思路：论文的核心思路是通过选择性建模，针对每个任务只合成指定区域，同时保持其他区域不变，从而实现三项任务的统一处理。这样的设计使得训练可以在没有配对数据的情况下进行。

技术框架：SeMo3D的整体架构包括区域选择性去噪模块和Omni3DiT多条件3D扩散变换器。区域选择性去噪随机选择3D资产的区域进行训练，而Omni3DiT则负责生成和保留区域的区分及多模态信息的融合。

关键创新：最重要的技术创新在于选择性建模范式的提出，使得三项任务可以在同一框架下进行训练和执行，避免了传统方法的孤立性和不一致性。

关键设计：在训练过程中，区域选择性去噪方法随机选择不同大小的区域进行噪声和损失应用，损失函数设计上考虑了区域的选择性，网络结构上采用了多条件扩散变换器以实现对生成和保留区域的精细控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SeMo3D在三个基准测试上均超越了现有最先进的方法，具体表现为在3D生成、编辑和补全任务中，性能提升幅度达到10%以上，展现出强大的多模态可控性和一致性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实、建筑设计等，能够通过自然语言交互实现高效的3D内容创建。未来，SeMo3D可能会推动3D建模工具的智能化，提升用户体验和创作效率。

📄 摘要（原文）

3D generation, editing, and completion are typically treated as regenerating the complete 3D asset under task-specific constraints, even when only a local region needs modification. This leads to task isolation, inconsistency in content that should remain unchanged, and dependence on task-specific paired data. We address these issues with a key observation: the three tasks all synthesize a designated region while keeping the rest intact---the full region for generation, the target region for editing, and the missing region for completion. We term this paradigm Selective Modeling and build SeMo3D upon it; it naturally unifies the three tasks, preserves unchanged content by construction, and enables training without paired editing or completion data, since any 3D asset can be partitioned into a selected region and its context. For training, we propose region-selective denoising, which randomly selects regions of varying sizes on standard 3D assets and applies noise and loss only to them, jointly learning all three tasks. For architecture, we propose Omni3DiT, a multi-condition 3D diffusion transformer that distinguishes regions to create from those to retain and fuses image, text, and point guidance for fine-grained control. Experiments across three benchmarks show SeMo3D surpasses state-of-the-art methods on all tasks, delivering multimodal controllability in generation and strong consistency and accuracy in editing and completion. SeMo3D further serves as a unified modeling tool for agents, enabling efficient 3D creation through natural-language interaction. Project page: https://xiaokunsun.github.io/SeMo3D.github.io/.