FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation
作者: Orest Kupyn, Goutam Bhat, Philipp Henzler, Fabian Manhardt, Christian Rupprecht, Federico Tombari
分类: cs.CV
发布日期: 2026-06-23
💡 一句话要点
提出FLAT以解决现有3D场景生成的几何准确性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景生成 几何准确性 视频扩散模型 三角形样条 实时渲染 计算机视觉 深度学习
📋 核心要点
- 现有的前馈潜在场景解码器输出的体积3D高斯缺乏明确表面，限制了其在仿真中的应用。
- FLAT通过直接从视频扩散潜在中解码三角形样条，提出了一种新的几何表示方法。
- FLAT在标准基准测试中显著提高了几何准确性，同时保持了与现有方法相当的视觉质量。
📝 摘要（中文）
从单幅图像生成可探索的3D场景需要强大的生成先验和适合下游使用的准确几何表示。当前的视频扩散模型提供高质量生成，并在潜在空间中隐式编码多视角几何结构。然而，现有的前馈潜在场景解码器通常输出缺乏明确表面的体积3D高斯，这限制了它们在仿真或标准图形管道中的应用。为此，本文提出FLAT，首次展示了如何直接从视频扩散潜在中解码三角形样条。与解码3D高斯相比，预测平面原语更具挑战性，FLAT通过射线中心旋转参数化和新颖的乘积窗口函数来解决这一问题。在标准基准测试中，FLAT在保持竞争性视觉质量的同时，显著提高了几何准确性。
🔬 方法详解
问题定义：本文旨在解决现有前馈潜在场景解码器在生成3D场景时缺乏几何准确性的问题，尤其是输出的体积3D高斯缺乏明确的表面特征，限制了其在实际应用中的有效性。
核心思路：FLAT的核心思路是将压缩的视频扩散潜在直接映射到显式的表面原语，特别是三角形样条。这种方法旨在提高几何表示的准确性，并使其更适合于实时渲染和游戏引擎的使用。
技术框架：FLAT的整体架构包括两个主要模块：首先是基于视频扩散潜在的三角形样条解码器，其次是用于优化渲染过程的轻量级测试时细化步骤。这两个模块协同工作，以实现高效的3D场景生成。
关键创新：FLAT的主要创新在于引入了射线中心的旋转参数化和新颖的乘积窗口函数，这些设计显著改善了在可微分三角形渲染过程中的梯度流动，从而提高了几何准确性。
关键设计：在关键设计方面，FLAT采用了特定的损失函数来优化三角形的回归，并在网络结构中引入了针对三角形方向的敏感性调整，以确保在训练过程中能够有效地捕捉到几何特征。通过这些设计，FLAT在生成的3D场景中实现了更好的表面对齐。
🖼️ 关键图片
📊 实验亮点
FLAT在标准基准测试中显著提高了几何准确性，相较于现有的前馈基线，视觉质量保持竞争力。通过引入轻量级的测试时细化步骤，FLAT能够将预测的三角形样条转换为完全不透明的、适合游戏引擎的表示，支持实时渲染。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和建筑可视化等。FLAT能够生成几何准确的3D场景，支持实时渲染，具有重要的实际价值和广泛的应用前景。未来，该技术可能推动更高效的3D内容生成和交互体验的实现。
📄 摘要（原文）
Generating explorable 3D scenes from a single image requires strong generative priors and accurate geometric representations suitable for downstream use. Current video diffusion models offer high-quality generation and implicitly encode multi-view geometric structure in latent space. However, existing feedforward latent scene decoders typically output volumetric 3D Gaussians that lack a well-defined surface, limiting their use in simulation or standard graphics pipelines. This motivates decoding surface-aligned primitives that are not only renderable but also closer to explicit geometric assets. We ask whether compressed video diffusion latents can be mapped directly to explicit surface primitives in a single pass. To this end, we introduce FLAT and, for the first time, show that triangle splats can be decoded directly from video diffusion latents. Compared with decoding 3D Gaussians, predicting flat primitives is notoriously more challenging due to high sensitivity to primitive orientations, oftentimes leading to poor gradient flow. FLAT solves with two key ingredients: a ray-centered rotation parameterization for triangle regression and a novel product window function that improves gradient flow during differentiable triangle rendering. On standard benchmarks, FLAT achieves significantly better geometric accuracy while maintaining competitive visual quality compared to state-of-the-art feedforward baselines. We further show that a lightweight test-time refinement step converts the predicted triangle soup into a fully opaque, game-engine-ready representation that supports real-time rendering. By evaluating 3DGS, 2DGS, and triangle splatting variants under an identical training setup, we provide the first systematic analysis of representation tradeoffs in feedforward scene generation. The project page is available at https://flat-splat.github.io