Learning Spherical Occupancy Profiles for Multi-View 3D Reconstruction and Generation
作者: YiHsuan Tsai
分类: cs.CV
发布日期: 2026-08-24
备注: 12 pages,5 figures,5 tables. Code and data will be released
💡 一句话要点
提出球形占用轮廓以解决多视角3D重建与生成问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 3D重建 球形占用轮廓 多视角 生成模型 深度学习
📋 核心要点
- 现有的多视角3D重建方法在处理复杂场景时存在精度不足和生成多样性不足的问题。
- 论文提出了一种球形占用轮廓作为中间表示，结合判别性解码器和生成管道，提升了重建的准确性和多样性。
- 实验结果显示，判别性解码器在测试集上达到了0.035的中位软深度误差，且生成管道支持无条件采样和图像条件下的多解重建。
📝 摘要（中文）
本研究探讨了球形占用轮廓，即从多视角3D高斯重建中提取的光线占用概率轮廓P(r) = T(r) o(r)，作为图像的判别与生成3D重建的统一中间表示。在包含999个对象的Google扫描对象子集中，每个对象有48个转台视图，我们训练了一个判别性光线解码器和一个基于轮廓变分自编码器及潜在扩散模型的生成管道。实验结果表明，该方法在独立的90对象测试集上达到了中位软深度误差0.035，并且在真实照片验证中成功迁移至非合成输入。
🔬 方法详解
问题定义：本论文旨在解决现有多视角3D重建方法在复杂场景下的精度不足和生成多样性不足的问题。现有方法往往无法有效整合多视角信息，导致重建结果的准确性和多样性受限。
核心思路：论文提出了球形占用轮廓作为统一的中间表示，利用光线占用概率轮廓来同时支持判别性和生成性3D重建。通过引入全局视图平均和光线特定的图像证据，提升了重建的精度和多样性。
技术框架：整体架构包括两个主要模块：判别性光线解码器和生成管道。判别性解码器负责从图像中提取信息并生成占用轮廓，而生成管道则基于轮廓变分自编码器和潜在扩散模型进行无条件采样和图像条件下的多解重建。
关键创新：最重要的技术创新在于提出了球形占用轮廓作为中间表示，能够有效整合多视角信息，并且通过后处理技术恢复真实轮廓宽度而不影响深度，推动了形态学门限的重新定义。
关键设计：在网络结构上，采用了FiLM条件的轮廓头，损失函数设计上引入了L1-per-ray损失，确保了重建的精度和形态的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，判别性光线解码器在90对象测试集上达到了中位软深度误差0.035，且生成管道支持无条件采样和图像条件下的多解重建，表现出显著的性能提升，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实、自动驾驶和机器人导航等。通过提供更准确和多样的3D重建，能够显著提升这些领域的用户体验和系统性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
We study spherical occupancy profiles-the ray-wise occupancy probability profiles P(r) = T(r) o(r) distilled from multi-view 3D Gaussian reconstructions-as a unified intermediate representation for both discriminative and generative 3D reconstruction from images. On a 999-object subset of Google Scanned Objects with 48 turntable views each, we train (i) a discriminative per-ray decoder that injects global view-averaged and ray-specific image evidence into a FiLM-conditioned profile head, reaching median soft depth error 0.035 (normalized) on an independent 90-object test split, and (ii) a generative pipeline built on a profile VAE and a latent diffusion model, which supports unconditional sampling that matches the reconstruction manifold and image-conditioned multi-solution reconstruction whose per-object solution spread is quantifiable and tunable via classifier-free guidance. We further analyze the morphology of predicted profiles: post-hoc power sharpening and a learned sharpening target both recover ground-truth profile width without degrading depth, exposing a monotonic width-peak frontier in the L1-per-ray loss family and motivating a principled redefinition of morphology gates. Real-photo validation on two DTU scenes confirms the pipeline transfers to non-synthetic input. Our results suggest that ray-wise occupancy profiles offer a compact, learned, and uncertainty-aware interface between multi-view reconstruction and generative priors.