OccAny: Generalized Unconstrained Urban 3D Occupancy

📄 arXiv: 2603.23502 📥 PDF

作者: Anh-Quan Cao, Tuan-Hung Vu

分类: cs.CV

发布日期: 2026-06-12

💡 一句话要点

提出OccAny以解决城市3D占用预测的泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D占用预测 城市场景 视觉几何 深度学习 模型泛化 几何补全 分割特征 新视角渲染

📋 核心要点

  1. 现有的3D占用预测方法在可扩展性和跨域泛化方面存在显著不足，限制了其在城市场景中的应用。
  2. 本文提出OccAny模型，能够在未校准的场景中进行3D占用预测和几何补全，结合了分割特征。
  3. 实验结果表明，OccAny在3D占用预测任务中超越了所有视觉几何基线，并在三个输入设置上与领域内自监督方法保持竞争力。

📝 摘要（中文）

现有的3D占用预测方法依赖于领域内的标注和精确的传感器先验，导致其在可扩展性和跨域泛化方面受到限制。尽管最近的视觉几何基础模型展现了强大的泛化能力，但它们主要针对一般用途，缺乏城市占用预测所需的关键要素，如度量预测、杂乱场景中的几何补全及适应城市场景的能力。为此，本文提出了OccAny，这是第一个能够在未校准的跨域场景中进行操作的无约束城市3D占用模型，能够预测和补全度量占用并结合分割特征。OccAny具有多功能性，能够从顺序、单目或全景图像中预测占用。我们的贡献主要包括三个方面：提出了第一个通用的3D占用框架、改进占用质量的分割强制机制，以及推断新视角几何的创新视角渲染管道。

🔬 方法详解

问题定义：本文旨在解决现有3D占用预测方法在城市场景中的泛化能力不足和可扩展性问题，现有方法依赖于领域内标注，难以适应未校准的跨域场景。

核心思路：OccAny模型通过结合分割特征和创新的视角渲染管道，能够在多种输入条件下进行准确的占用预测和几何补全，提升了模型的适应性和预测质量。

技术框架：OccAny的整体架构包括三个主要模块：占用预测模块、分割强制模块和新视角渲染管道。占用预测模块负责从输入图像中提取占用信息，分割强制模块通过引入分割特征来提升预测质量，而新视角渲染管道则用于在测试时进行视角增强和几何补全。

关键创新：OccAny的关键创新在于其分割强制机制和新视角渲染管道，这使得模型不仅能够进行高质量的占用预测，还能在复杂的城市场景中进行几何补全，显著提升了预测的准确性和适用性。

关键设计：在模型设计中，采用了特定的损失函数来优化占用预测和分割特征的结合，同时在网络结构上进行了调整，以适应不同输入条件下的占用预测任务。

📊 实验亮点

在实验中，OccAny在3D占用预测任务中超越了所有视觉几何基线，展现出卓越的性能。在三个输入设置上，OccAny与领域内自监督方法的表现保持竞争力，证明了其在城市场景中的有效性和适用性。

🎯 应用场景

OccAny模型在城市规划、自动驾驶、机器人导航等领域具有广泛的应用潜力。通过提供准确的3D占用信息，该模型能够帮助相关系统更好地理解和适应复杂的城市环境，从而提升智能交通、城市管理等领域的效率和安全性。

📄 摘要（原文）

Relying on in-domain annotations and precise sensor-rig priors, existing 3D occupancy prediction methods are limited in both scalability and out-of-domain generalization. While recent visual geometry foundation models exhibit strong generalization capabilities, they were mainly designed for general purposes and lack one or more key ingredients required for urban occupancy prediction, namely metric prediction, geometry completion in cluttered scenes and adaptation to urban scenarios. We address this gap and present OccAny, the first unconstrained urban 3D occupancy model capable of operating on out-of-domain uncalibrated scenes to predict and complete metric occupancy coupled with segmentation features. OccAny is versatile and can predict occupancy from sequential, monocular, or surround-view images. Our contributions are three-fold: (i) we propose the first generalized 3D occupancy framework with (ii) Segmentation Forcing that improves occupancy quality while enabling mask-level prediction, and (iii) a Novel View Rendering pipeline that infers novel-view geometry to enable test-time view augmentation for geometry completion. Extensive experiments demonstrate that OccAny outperforms all visual geometry baselines on 3D occupancy prediction task, while remaining competitive with in-domain self-supervised methods across three input settings on two established urban occupancy prediction datasets. Our code is available atthis https URL.