PolyLayout: Multi-room Manhattan Layout Estimation
作者: Gustav Hanning, Shaohui Liu, Rémi Pautrat, Marc Pollefeys, Kalle Åström, Viktor Larsson
分类: cs.CV
发布日期: 2026-08-04
备注: Accepted at the European Conference on Computer Vision (ECCV) 2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出PolyLayout以解决多房间曼哈顿布局估计问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 房间布局估计 曼哈顿多边形 多视角图像 室内场景理解 联合优化 神经网络 建筑结构
📋 核心要点
- 现有的房间布局估计方法在新数据集上的泛化能力差，且对房间形状和相机配置的假设过于严格。
- PolyLayout通过将房间布局参数化为曼哈顿3D多边形，并在多个房间间进行联合优化，克服了现有方法的局限性。
- 实验结果显示，PolyLayout在准确性和鲁棒性上均优于现有方法，提供了两个新的多视角多房间布局基准。
📝 摘要（中文）
从多视角图像中估计房间布局是室内场景理解的核心任务。现有方法通常受限于对新数据集的泛化能力差或对房间形状及相机配置的几何假设过于严格。大多数方法独立估计房间，未能利用共享的建筑结构信息。本文提出PolyLayout，一种将房间布局参数化为曼哈顿3D多边形并在多个房间间联合优化的方法。该方法通过神经网络预测优化目标，并在仅对输出房间布局进行监督的情况下进行端到端训练，同时保持相机投影和多边形更新的显式模型化。这种学习评分与几何的分离提高了对新数据集和相机参数的泛化能力。实验表明，PolyLayout在准确性和鲁棒性方面均优于先前的方法。
🔬 方法详解
问题定义：本文旨在解决从多视角图像中估计多房间曼哈顿布局的问题。现有方法在泛化能力和对房间几何形状的假设上存在局限，且通常独立处理每个房间，未能利用建筑结构的共享信息。
核心思路：PolyLayout通过将房间布局表示为曼哈顿3D多边形，并在多个房间之间进行联合优化，来提高布局估计的准确性和鲁棒性。该方法利用神经网络预测优化目标，同时保持几何更新的显式模型化，从而改善对新数据集的泛化能力。
技术框架：PolyLayout的整体架构包括多个模块：首先，使用预训练的视觉特征提取房间布局的初始参数；然后，通过神经网络预测优化目标；接着，进行多房间的联合优化，动态调整多边形拓扑；最后，输出优化后的房间布局。
关键创新：PolyLayout的主要创新在于将房间布局参数化为曼哈顿3D多边形，并通过联合优化的方式处理多个房间。这种方法与传统的独立估计方法本质上不同，能够更好地利用建筑结构信息。
关键设计：在设计上，PolyLayout采用了基于神经网络的损失函数，专注于输出房间布局的监督学习。此外，采用了迭代的墙体分裂和合并操作，以自适应地优化多边形拓扑结构。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PolyLayout在布局估计的准确性上超过了现有方法，具体性能提升幅度达到了XX%。此外，PolyLayout在面对不同数据集和相机参数时展现出更强的鲁棒性，验证了其广泛适用性。
🎯 应用场景
该研究在室内场景理解、机器人导航和虚拟现实等领域具有广泛的应用潜力。通过准确估计房间布局，PolyLayout能够为智能家居、建筑设计和室内导航系统提供更为精确的环境建模，提升用户体验和系统效率。
📄 摘要（原文）
Estimating room layouts from multi-view imagery is a core task for indoor scene understanding. Existing methods are typically limited either by poor generalization to new datasets or restrictive geometric assumptions of the room shape or camera configuration. Most also estimate rooms independently, failing to exploit shared building structure such as dominant directions, ground plane or ceiling height. We propose PolyLayout, a multi-room layout estimation method that parameterizes room layouts as Manhattan 3D polygons and optimizes them jointly across multiple rooms. The optimization objective is predicted by a neural network on top of robust pre-trained visual features and trained end-to-end with supervision only on output room layouts. At the same time, camera projection and polygon updates remain explicit and model-based. This separation between learned scoring and geometry improves generalization to new datasets and camera parameters. During optimization, PolyLayout adaptively refines the polygon topology through iterative wall split and merge operations while jointly utilizing structural cues across rooms. We introduce two new multi-view multi-room layout benchmarks by providing layout annotations to existing datasets, and experiments show that PolyLayout outperforms prior approaches, both in terms of accuracy and robustness. Project page: https://ghanning.github.io/PolyLayout