CoLa3D: Composable Latent 3D Decomposition

📄 arXiv: 2611.03533v1 📥 PDF

作者: Xudong Cai, Yongcai Wang, Deying Li, Chuanxia Zheng

分类: cs.CV

发布日期: 2026-11-02

备注: Accepted at NeurIPS 2026. Project page: https://physicalvision.github.io/CoLa3D/

💡 一句话要点

提出CoLa3D以解决3D场景可组合分解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景分解 潜在表示 变换器 对象网格生成 虚拟现实 机器人导航 自动化内容创作

📋 核心要点

  1. 现有的3D场景分解方法通常依赖于逐个对象生成和脆弱的拼接技术，导致全局一致性和对象质量不足。
  2. CoLa3D提出了一种新的分解范式，通过共享整体场景潜在表示，直接输出可组合的对象网格，避免了传统方法的缺陷。
  3. 在多个数据集上，CoLa3D显著提升了分解效果，运行速度提高两倍，且训练数据需求大幅降低，表现出色。

📝 摘要（中文）

我们介绍了CoLa3D，这是一种简单有效的可组合3D场景分解模型。该模型接受来自单幅图像或现有场景网格的整体场景潜在表示作为输入，直接输出一组具有一致空间布局的对象网格，这些网格可以重新组装成一个连贯的场景。与现有方法不同，CoLa3D在共享的整体场景潜在空间中进行3D场景分解，而不是在标准空间中逐个生成对象并依赖脆弱的姿态和尺度估计进行拼接。该网络是一个轻量级、灵活且可扩展的基于查询的变换器，接受包括2D掩码、3D点和可学习查询在内的多种查询类型，并学习在紧凑的潜在空间中将场景分解为对象。在合成和真实世界数据集上，CoLa3D在可组合3D场景分解方面达到了最先进的性能，显著提高了全局场景一致性和对象质量，同时运行速度提高了两倍，使用的训练数据量不到SAM 3D的1%。

🔬 方法详解

问题定义：论文旨在解决3D场景分解中的全局一致性和对象质量不足的问题。现有方法通常依赖于逐个对象生成和脆弱的拼接，导致效果不佳。

核心思路：CoLa3D的核心思路是通过共享整体场景潜在表示，直接生成可组合的对象网格。这种设计减少了对复杂姿态和尺度估计的依赖，提高了分解的稳定性和一致性。

技术框架：CoLa3D采用基于查询的变换器架构，能够处理多种类型的输入查询，包括2D掩码、3D点和可学习查询。整个流程包括输入潜在表示、查询处理和对象网格生成三个主要阶段。

关键创新：CoLa3D的最大创新在于其在共享潜在空间中进行3D场景分解的能力，与传统方法的逐个对象生成和拼接方式有本质区别。

关键设计：模型采用轻量级的变换器结构，优化了查询处理的效率，损失函数设计上注重全局一致性和对象质量的平衡，确保生成的对象网格在物理上完整且可分解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个合成和真实数据集上，CoLa3D在可组合3D场景分解任务中达到了最先进的性能，显著提高了全局场景一致性和对象质量。其运行速度提高了两倍，且训练数据需求不到SAM 3D的1%，显示出极高的效率和效果。

🎯 应用场景

CoLa3D在虚拟现实、游戏开发和机器人导航等领域具有广泛的应用潜力。其能够高效生成可组合的3D场景，为用户提供更真实的交互体验，同时也为自动化场景理解和重建提供了新的思路。未来，该技术可能推动3D内容创作的自动化和智能化进程。

📄 摘要（原文）

We introduce CoLa3D, a simple and effective model for composable 3D scene decomposition that, given a single whole-scene latent from either a single image or an existing scene mesh as input, directly outputs a set of object meshes with consistent spatial layout that can be assembled back into a coherent scene. CoLa3D introduces a novel paradigm for 3D scene decomposition within a shared whole-scene latent, unlike alternatives that perform per-object generation in canonical spaces and then glue the objects back together with fragile pose and scale estimation. The network is a lightweight, flexible, and scalable query-based transformer that accepts various types of queries, including 2D masks, 3D points, and learnable queries, and learns to decompose the scene into objects in a compact latent space. On both synthetic and real-world datasets, CoLa3D achieves state-of-the-art performance on composable 3D scene decomposition, substantially improving global scene-level consistency and object-level quality while running 2 times faster and using less than 1% of SAM 3D's training data. Visible depth on par with MoGe2 further confirms that latent decomposition preserves accurate visible scene geometry while producing physically complete, decomposable object meshes.