FL4N: Feed-forward Latent Model for 4D Novel View Synthesis

📄 arXiv: 2610.35854v1 📥 PDF

作者: Eunbeen Hong, Hyeonseo Yu, Honggyu An, Jooho Son, Hyunah Ko, Soowon Son, Chaehyun Kim, Jahyeok Koo, Jisoo Kim, Junhwa Hur, Seungryong Kim

分类: cs.CV

发布日期: 2026-10-26

备注: Project page and code are available at https://cvlab-kaist.github.io/FL4N/

💡 一句话要点

提出FL4N以解决动态场景4D新视角合成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 4D新视角合成 动态场景 潜在表示 实时渲染 图像合成

📋 核心要点

  1. 现有的单目前馈方法在4D新视角合成中依赖显式的4D高斯表示，导致时间不一致性和渲染伪影。
  2. FL4N通过编码4D场景先验为统一的潜在表示，学习时间动态作为预训练静态潜在先验的残差，从而实现有效建模。
  3. FL4N在图像合成目标下训练，达到了最先进的4D NVS质量，并且能够实时渲染，具有良好的泛化能力。

📝 摘要（中文）

4D新视角合成（NVS）旨在跨视点和时间戳渲染动态场景，这需要同时推断3D结构和时间动态。现有的单目前馈方法通常依赖于显式的4D高斯表示，容易导致时间不一致性和严重的渲染伪影。我们提出FL4N，这是第一个前馈潜在4D NVS模型。FL4N通过在空间和时间上统一的潜在表示来编码4D场景先验，而不是依赖显式的4D原语。我们的核心见解是，将时间动态作为预训练静态潜在先验上的残差进行学习，可以在有限的动态训练数据下实现有效的4D建模。为此，我们引入了一种轻量级动态编码器，利用静态场景特征将物体运动与相机引起的视差分离。FL4N仅通过图像合成目标进行训练，达到了最先进的4D NVS质量，同时实现实时渲染。其学习的潜在表示能够推广到真实世界视频，并将视点与时间分离。

🔬 方法详解

问题定义：论文要解决的问题是如何在动态场景中进行4D新视角合成，现有方法的痛点在于依赖显式的4D高斯表示，导致时间不一致性和渲染伪影。

核心思路：论文的核心解决思路是通过将4D场景先验编码为统一的潜在表示，学习时间动态作为预训练静态潜在先验的残差，这样可以在有限的动态训练数据下实现有效的4D建模。

技术框架：整体架构包括一个轻量级动态编码器，该编码器利用静态场景特征将物体运动与相机引起的视差分离。FL4N的训练目标是图像合成，确保了模型的实时渲染能力。

关键创新：最重要的技术创新点在于FL4N不依赖显式的4D原语，而是通过潜在表示来实现4D建模，这与现有方法的本质区别在于其对动态数据的处理方式。

关键设计：关键设计包括轻量级动态编码器的结构，损失函数的选择，以及如何有效地利用静态场景特征来增强模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FL4N在4D新视角合成任务中表现出色，达到了最先进的质量标准，并且在实时渲染方面具有显著优势。与基线方法相比，FL4N在渲染质量上有明显提升，具体性能数据尚未提供，但其效果在实验中得到了验证。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实和电影制作等动态场景的实时渲染。FL4N的实时渲染能力和优越的合成质量使其在需要高效处理动态视频内容的场景中具有实际价值，未来可能推动相关技术的广泛应用。

📄 摘要（原文）

4D novel view synthesis (NVS) aims to render dynamic scenes across viewpoints and timestamps, which requires jointly inferring 3D structure and temporal dynamics. Existing monocular feed-forward methods often rely on explicit 4D Gaussian representations, which are prone to temporal inconsistency and severe rendering artifacts. We present FL4N, the first feed-forward latent 4D NVS model. Instead of relying on explicit 4D primitives, FL4N encodes a 4D scene prior into a unified latent representation across space and time. Our core insight is that learning temporal dynamics as residuals on top of a pretrained static latent prior enables effective 4D modeling with limited dynamic training data. To this end, we introduce a lightweight dynamic encoder that leverages static scene features to disentangle object motion from camera-induced parallax. Trained solely with an image synthesis objective, FL4N achieves state-of-the-art 4D NVS quality while rendering in real time. Its learned latent representation generalizes to real-world videos and disentangles viewpoint from time.