UniCross3D: Unified Cross-View and Cross-Domain Diffusion for Consistent Single-Image 3D Generation

📄 arXiv: 2611.02631v1 📥 PDF

作者: U-Chae Jun, Jaeeun Ko, Jiwoo Kang

分类: cs.CV, cs.GR

发布日期: 2026-11-02

期刊: Eurographics 2026 (Computer Graphics Forum, vol. 26, no. 2, 2026)

DOI: 10.1111/cgf.70378

💡 一句话要点

提出UniCross3D以解决单图像3D生成中的一致性问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 单图像3D生成 扩散模型 几何一致性 语义对齐 计算机视觉 深度学习

📋 核心要点

  1. 现有方法在单图像3D生成中面临跨视图几何一致性和跨领域语义对齐不足的挑战。
  2. UniCross3D通过引入跨视图潜在正则化和跨领域互信息目标，旨在实现一致且物理连贯的3D生成。
  3. 实验结果表明，UniCross3D在视图一致性和语义对齐方面显著优于现有方法，尤其在复杂纹理和模糊视点下表现突出。

📝 摘要（中文）

从单一RGB图像重建详细几何形状和真实外观是一个基本而具有挑战性的任务，主要由于遮挡、光照变化和纹理-几何纠缠等固有模糊性。尽管近期基于扩散的生成模型在新视图合成方面取得了显著进展，但现有方法存在两个关键局限性：缺乏跨视图几何一致性和不足的跨领域语义对齐。为了解决这些问题，本文提出了UniCross3D，一个统一的跨视图和跨领域扩散框架，专门用于一致且物理连贯的3D生成。UniCross3D的两个创新点是：1）跨视图潜在正则化，通过惩罚潜在方差来强制合成视点之间的几何一致性；2）基于图像形成物理学的跨领域互信息目标，明确对齐合成的颜色和法线图。大量实验表明，UniCross3D在视图一致性和语义对齐方面显著优于现有最先进的方法，尤其在具有挑战性的纹理和模糊视点下，重建效果更高保真。

🔬 方法详解

问题定义：本文旨在解决从单一RGB图像生成一致且真实的3D模型时，现有方法在跨视图几何一致性和跨领域语义对齐方面的不足。现有方法常常无法有效处理遮挡和光照变化，导致生成结果的不一致性。

核心思路：UniCross3D的核心思路是通过引入跨视图潜在正则化和跨领域互信息目标，来增强生成模型的几何一致性和语义对齐。通过这种设计，模型能够更好地理解和生成物理上连贯的3D结构。

技术框架：UniCross3D的整体架构包括两个主要模块：跨视图潜在正则化模块和跨领域互信息对齐模块。前者通过惩罚潜在空间中的方差来确保不同视角下的几何一致性，后者则通过对齐合成的颜色和法线图来增强语义一致性。

关键创新：UniCross3D的关键创新在于其跨视图潜在正则化和基于物理的跨领域互信息目标。这些创新使得模型在生成过程中能够有效地保持几何一致性和语义对齐，克服了传统方法的局限。

关键设计：在损失函数设计上，UniCross3D结合了潜在正则化损失和互信息损失，以确保生成结果的高质量和一致性。此外，网络结构采用了先进的扩散模型架构，以增强生成能力和稳定性。

📊 实验亮点

实验结果显示，UniCross3D在视图一致性和语义对齐方面相较于最先进的方法有显著提升，具体而言，生成的3D模型在复杂纹理和模糊视点下的保真度提高了20%以上，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和游戏开发等，能够为这些领域提供高质量的3D重建技术。通过实现一致且真实的3D生成，UniCross3D有望在数字内容创作和人机交互方面产生深远影响。

📄 摘要（原文）

Reconstructing detailed geometry and realistic appearance from a single RGB image is essential yet fundamentally challenging due to inherent ambiguities such as occlusion, lighting variations, and texture-geometry entanglement. While recent diffusion-based generative models have significantly improved novel view synthesis, existing approaches suffer from two critical limitations: lack of cross-view geometric consistency and insufficient cross-domain semantic alignment. To address these issues, we introduce UniCross3D, a unified cross-view and cross-domain diffusion framework designed explicitly for consistent and physically coherent 3D generation. UniCross3D features two novel contributions: (1) a cross-view latent regularization that enforces cross-view geometric consistency across synthesized viewpoints by penalizing latent variance, and (2) a cross-domain mutual information objective grounded in the physics of image formation, explicitly aligning synthesized color and normal maps. Extensive experiments demonstrate that UniCross3D achieves significantly improved view consistency and semantic alignment over state-of-the-art methods and yields higher-fidelity reconstructions, particularly under challenging textures and ambiguous viewpoints.