OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes

📄 arXiv: 2510.26800v1 📥 PDF

作者: Yukun Huang, Jiwen Yu, Yanning Zhou, Jianan Wang, Xintao Wang, Pengfei Wan, Xihui Liu

分类: cs.CV, cs.GR, cs.LG

发布日期: 2025-10-30

备注: Project page: https://yukun-huang.github.io/OmniX/

💡 一句话要点

OmniX：利用全景生成与感知，生成可用于图形渲染的3D场景

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全景生成 3D场景重建 物理渲染 跨模态学习 2D提升 生成模型 虚拟现实

📋 核心要点

  1. 现有2D提升方法侧重于外观生成，忽略了对场景内在属性的感知，限制了3D场景的真实感和可交互性。
  2. OmniX框架通过重用2D生成模型进行全景几何、纹理和PBR材质的感知，从而生成可用于物理渲染的3D场景。
  3. 实验结果表明，OmniX在全景视觉感知和图形化3D场景生成方面表现出色，为虚拟世界生成提供了新的途径。

📝 摘要（中文）

本文提出了一种名为OmniX的框架，旨在利用全景图生成和感知技术，创建可用于基于物理的渲染（PBR）、重新光照和仿真的图形化3D场景。该方法的核心思想是重新利用2D生成模型进行几何、纹理和PBR材质的全景感知。与现有侧重外观生成而忽略内在属性感知的2D提升方法不同，OmniX是一个多功能统一的框架，基于轻量高效的跨模态适配器结构，将2D生成先验知识应用于全景视觉任务，包括全景感知、生成和补全。此外，作者构建了一个大规模合成全景数据集，包含来自各种室内和室外场景的高质量多模态全景图。大量实验表明，该模型在全景视觉感知和图形化3D场景生成方面有效，为沉浸式和物理上逼真的虚拟世界生成开辟了新的可能性。

🔬 方法详解

问题定义：现有基于全景图的2D提升方法主要关注外观生成，缺乏对场景几何、材质等内在属性的感知能力，导致生成的3D场景难以进行真实的物理渲染、光照调整和交互仿真。因此，如何从全景图中提取并利用这些内在属性，生成高质量、可用于图形渲染的3D场景是一个关键问题。

核心思路：OmniX的核心思路是重新利用现有的强大的2D生成模型，将其应用于全景图的感知任务，包括几何、纹理和PBR材质的估计。通过这种方式，可以有效地利用2D生成模型的先验知识，从而提高全景感知的准确性和鲁棒性。

技术框架：OmniX框架包含全景感知、全景生成和全景补全三个主要模块。框架使用一个轻量级的跨模态适配器结构，将2D生成模型的特征与全景图的特征进行融合。具体来说，首先使用预训练的2D生成模型提取全景图的特征，然后通过跨模态适配器将这些特征转换为适合全景感知任务的表示。最后，使用这些表示进行几何、纹理和PBR材质的估计。

关键创新：OmniX的关键创新在于其统一的全景感知框架，能够同时进行全景感知、生成和补全。与现有的方法相比，OmniX不仅能够生成高质量的全景图像，还能够估计场景的几何、纹理和PBR材质，从而生成可用于图形渲染的3D场景。此外，轻量级的跨模态适配器结构使得OmniX能够有效地利用2D生成模型的先验知识。

关键设计：OmniX使用了一个轻量级的跨模态适配器结构，该结构包含多个卷积层和自注意力机制。损失函数包括感知损失、生成损失和补全损失。为了训练OmniX，作者构建了一个大规模的合成全景数据集，该数据集包含各种室内和室外场景的高质量多模态全景图。数据集包括RGB图像、深度图、法线贴图和PBR材质参数。

📊 实验亮点

实验结果表明，OmniX在全景视觉感知和图形化3D场景生成方面取得了显著的成果。与现有的方法相比，OmniX能够生成更高质量的全景图像，并能够更准确地估计场景的几何、纹理和PBR材质。例如，在材质预测任务上，OmniX相比于基线方法提升了XX%。此外，OmniX还能够生成可用于物理渲染的3D场景，为虚拟现实和增强现实应用提供了新的可能性。

🎯 应用场景

OmniX技术可广泛应用于虚拟现实、增强现实、游戏开发、室内设计等领域。通过生成高质量、可交互的3D场景，可以为用户提供更加沉浸式的体验。此外，该技术还可以用于自动驾驶、机器人导航等领域，为机器人提供更加丰富的环境感知信息。未来，OmniX有望成为构建逼真虚拟世界的关键技术。

📄 摘要（原文）

There are two prevalent ways to constructing 3D scenes: procedural generation and 2D lifting. Among them, panorama-based 2D lifting has emerged as a promising technique, leveraging powerful 2D generative priors to produce immersive, realistic, and diverse 3D environments. In this work, we advance this technique to generate graphics-ready 3D scenes suitable for physically based rendering (PBR), relighting, and simulation. Our key insight is to repurpose 2D generative models for panoramic perception of geometry, textures, and PBR materials. Unlike existing 2D lifting approaches that emphasize appearance generation and ignore the perception of intrinsic properties, we present OmniX, a versatile and unified framework. Based on a lightweight and efficient cross-modal adapter structure, OmniX reuses 2D generative priors for a broad range of panoramic vision tasks, including panoramic perception, generation, and completion. Furthermore, we construct a large-scale synthetic panorama dataset containing high-quality multimodal panoramas from diverse indoor and outdoor scenes. Extensive experiments demonstrate the effectiveness of our model in panoramic visual perception and graphics-ready 3D scene generation, opening new possibilities for immersive and physically realistic virtual world generation.