FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation

📄 arXiv: 2606.24874v1 📥 PDF

作者: Haorui Ji, Weizhe Liu, Hongdong Li, Hengkai Guo

分类: cs.CV, cs.AI

发布日期: 2026-06-23

💡 一句话要点

提出FLUX3D以解决高频视觉细节保留问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D高斯生成 稀疏体素表示 扩散对齐 多模态对齐 计算机视觉 图像生成 深度学习

📋 核心要点

  1. 现有方法在高频视觉细节的保留上存在结构瓶颈，导致生成的3D高斯点云质量不足。
  2. FLUX3D通过引入扩散对齐结构潜变量（DA-SLAT）和稀疏结构感知扩散框架，提升了3D表示学习和生成阶段的对齐效果。
  3. 实验结果表明，FLUX3D在外观保真度上显著提升，超越了所有现有最先进方法，展示了其优越性。

📝 摘要（中文）

稀疏体素表示已成为图像到3D高斯点云生成的可扩展基础，但现有方法在保留输入图像的高频视觉细节方面存在挑战。主要问题在于，现有方法采用的判别性2D特征抑制了重建线索，导致表示瓶颈；而标准扩散变换器在生成阶段缺乏有效机制来对齐稀疏3D体素和密集2D图像标记，造成跨模态对应瓶颈。为了解决这些问题，我们提出了FLUX3D，一个可扩展的图像到3D高斯点云框架，提升了表示学习和跨模态对齐的效果。通过重新审视2D特征选择并提出扩散对齐结构潜变量（DA-SLAT），结合解码器架构，FLUX3D显著提高了3D点云重建的保真度，并在生成高质量3D点云资产方面超越了所有现有最先进方法。

🔬 方法详解

问题定义：本论文旨在解决现有图像到3D高斯点云生成方法在保留高频视觉细节方面的不足。现有方法由于采用判别性2D特征和缺乏有效的跨模态对齐机制，导致生成的3D点云质量不高。

核心思路：FLUX3D的核心思路是通过引入扩散对齐结构潜变量（DA-SLAT）来改善3D表示学习，并设计稀疏结构感知的扩散框架，以增强生成阶段的2D-3D对齐能力。这样的设计旨在克服现有方法的表示瓶颈和跨模态对应瓶颈。

技术框架：FLUX3D的整体架构包括两个主要模块：首先是基于DA-SLAT的3D表示学习模块，随后是结合稀疏结构的多模态扩散变换器（SMDiT）和旋转位置嵌入（MARoPE）的生成模块。

关键创新：FLUX3D的关键创新在于提出了DA-SLAT和SMDiT，这些技术使得2D图像标记与3D体素潜变量之间的对齐更加有效，显著提高了生成的3D点云的保真度。

关键设计：在FLUX3D中，采用了特定的损失函数来优化2D和3D特征的对齐，同时在网络结构上使用了解码器架构以提升重建质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FLUX3D在多个基准实验中表现出色，尤其在外观保真度上实现了显著提升，具体性能数据表明其在生成高质量3D点云资产时超越了所有现有最先进方法，提升幅度达到XX%。

🎯 应用场景

FLUX3D的研究成果在计算机视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。其高保真度的3D点云生成能力可以用于游戏开发、影视特效制作以及城市建模等场景，提升用户体验和视觉效果。

📄 摘要（原文）

Sparse voxel representation has emerged as a scalable foundation for image-to-3D Gaussian Splatting (3DGS) generation, yet current methods struggle to preserve high-frequency visual details of input images due to two structural bottlenecks. First, they adopt discriminative 2D features optimized for semantic abstraction to construct sparse voxel latents, which suppress reconstructive cues and induce a representation bottleneck. Second, in the generation stage, standard diffusion transformers lack effective mechanisms to align dense 2D image tokens with sparse 3D voxel latents, resulting in a cross-modal correspondence bottleneck. To address these issues, we propose FLUX3D, a scalable image-to-3DGS framework that boosts both representation learning and cross-modal alignment during generation. We first revisit 2D feature selection for sparse-voxel-based 3D representation learning, propose Diffusion-Aligned Structured Latents (DA-SLAT) and couple it with a decoder-only architecture to improve 3DGS reconstruction fidelity. We also design a sparse-structure-aware diffusion framework, which integrates the Sparse-structure Multimodal Diffusion Transformer (SMDiT) and Modal-Aware Rotary Positional Embedding (MARoPE) to achieve geometry-agnostic 2D-3D alignment. Extensive benchmark experiments demonstrate that FLUX3D yields substantial improvements in appearance fidelity and significantly outperforms all state-of-the-art (SOTA) methods in generating high-quality 3DGS assets.