MVRoom: Controllable 3D Indoor Scene Generation with Multi-View Diffusion Models

📄 arXiv: 2512.04248v1 📥 PDF

作者: Shaoheng Fang, Chaohui Yu, Fan Wang, Qixing Huang

分类: cs.CV, cs.AI

发布日期: 2025-12-03

💡 一句话要点

MVRoom：基于多视角扩散模型的可控3D室内场景生成

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D场景生成 多视角扩散模型 新视角合成 室内场景 可控生成

📋 核心要点

  1. 现有3D室内场景生成方法难以保证多视角一致性，且缺乏对场景布局的有效控制。
  2. MVRoom利用多视角扩散模型，以粗糙3D布局为条件，分阶段生成场景，并引入布局感知的极线注意力机制。
  3. 实验结果表明，MVRoom在3D场景生成的新视角合成任务上，优于现有方法，实现了高保真和可控的场景生成。

📝 摘要（中文）

本文提出了一种名为MVRoom的可控新视角合成（NVS）流水线，用于生成3D室内场景。该方法利用多视角扩散模型，并以粗糙的3D布局为条件。MVRoom采用两阶段设计，3D布局贯穿始终，以保证多视角一致性。第一阶段采用新颖的表示方法，有效地桥接了3D布局和一致的基于图像的条件信号，用于多视角生成。第二阶段执行图像条件下的多视角生成，并结合布局感知的极线注意力机制，以增强扩散过程中的多视角一致性。此外，我们还引入了一个迭代框架，通过递归执行多视角生成（MVRoom）来生成具有不同数量对象和场景复杂度的3D场景，支持文本到场景的生成。实验结果表明，我们的方法实现了高保真和可控的3D场景生成，用于新视角合成，在定量和定性方面均优于最先进的基线方法。消融研究进一步验证了生成流水线中关键组件的有效性。

🔬 方法详解

问题定义：现有3D室内场景生成方法在多视角一致性方面存在挑战，难以生成在不同视角下保持一致的场景。此外，对场景布局的控制能力有限，难以根据用户需求生成特定布局的场景。

核心思路：MVRoom的核心思路是利用多视角扩散模型，并以粗糙的3D布局为条件，从而在生成过程中显式地考虑多视角一致性。通过两阶段的生成过程，逐步细化场景，并利用布局信息指导图像生成。

技术框架：MVRoom包含两个主要阶段：第一阶段，利用新颖的表示方法，将3D布局信息转换为一致的图像条件信号，用于多视角生成。第二阶段，执行图像条件下的多视角生成，并引入布局感知的极线注意力机制，以增强扩散过程中的多视角一致性。此外，还引入了一个迭代框架，通过递归执行多视角生成来生成具有不同复杂度的场景。

关键创新：MVRoom的关键创新在于：1) 提出了一种新的表示方法，有效地桥接了3D布局和图像条件信号；2) 引入了布局感知的极线注意力机制，增强了多视角一致性；3) 提出了一个迭代框架，支持生成具有不同复杂度的场景。

关键设计：在第一阶段，具体采用何种新颖的表示方法来桥接3D布局和图像条件信号，论文中未详细说明。在第二阶段，布局感知的极线注意力机制的具体实现方式，例如如何利用极线约束来指导注意力计算，论文中也未详细说明。迭代框架中，每次迭代的具体操作，以及如何控制场景复杂度的增加，也需要进一步了解。

📊 实验亮点

实验结果表明，MVRoom在3D场景生成的新视角合成任务上，在定量和定性方面均优于最先进的基线方法。具体的性能数据和提升幅度未知，需要在论文中进一步查找。消融研究验证了生成流水线中关键组件的有效性，但具体哪些组件以及它们的贡献程度未知。

🎯 应用场景

MVRoom在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于生成逼真的3D室内场景，为用户提供沉浸式的体验。此外，MVRoom还可以用于室内设计和建筑可视化，帮助设计师和建筑师更好地展示他们的作品。未来，MVRoom有望应用于自动驾驶和机器人导航等领域，为机器人提供更丰富的环境信息。

📄 摘要（原文）

We introduce MVRoom, a controllable novel view synthesis (NVS) pipeline for 3D indoor scenes that uses multi-view diffusion conditioned on a coarse 3D layout. MVRoom employs a two-stage design in which the 3D layout is used throughout to enforce multi-view consistency. The first stage employs novel representations to effectively bridge the 3D layout and consistent image-based condition signals for multi-view generation. The second stage performs image-conditioned multi-view generation, incorporating a layout-aware epipolar attention mechanism to enhance multi-view consistency during the diffusion process. Additionally, we introduce an iterative framework that generates 3D scenes with varying numbers of objects and scene complexities by recursively performing multi-view generation (MVRoom), supporting text-to-scene generation. Experimental results demonstrate that our approach achieves high-fidelity and controllable 3D scene generation for NVS, outperforming state-of-the-art baseline methods both quantitatively and qualitatively. Ablation studies further validate the effectiveness of key components within our generation pipeline.