GeoFlow: Efficient Driving Video Generation via Geometry-Aligned Priors
作者: Jiazheng Liu, Hang Li, Jiawei Zhang, Jiahe Li, Xiaohan Yu, Shengyin Fan, Jin Zheng, Xiao Bai
分类: cs.CV
发布日期: 2026-08-12
备注: Accepted at ECCV 2026
💡 一句话要点
提出GeoFlow以解决驾驶视频生成效率低下问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)
关键词: 驾驶视频生成 几何对齐 生成模型 高效推理 时空相关性 多视角几何 空间自适应噪声 视频合成
📋 核心要点
- 现有生成模型在驾驶视频生成中效率低下，主要由于依赖独立的高斯噪声初始化，导致计算冗余和几何不一致。
- 本文提出GeoFlow框架，通过多视角几何和空间自适应噪声注入，构建几何对齐先验分布，以提高生成效率。
- 实验结果显示，GeoFlow在训练和推理效率上显著提升，少量微调即可提高生成质量，推理步骤大幅减少。
📝 摘要（中文）
生成模型如扩散模型和流匹配在合成高保真驾驶视频方面表现出色，但由于需要大量采样步骤，推理延迟严重。现有方法依赖标准高斯源分布，忽视了驾驶视频中的时空相关性，导致计算冗余和几何不一致。为此，本文提出GeoFlow框架，通过显式几何先验实现高效驾驶视频生成。GeoFlow利用多视角几何和空间自适应噪声注入构建几何对齐先验分布，显著缩短采样轨迹。实验表明，GeoFlow在训练和推理效率上均有显著提升，少量微调即可显著提高生成质量，同时大幅减少推理步骤。
🔬 方法详解
问题定义：本文旨在解决现有生成模型在驾驶视频生成中的高推理延迟问题。现有方法依赖标准高斯源分布，导致连续帧初始化为独立高斯噪声，忽视了驾驶视频中的丰富时空相关性，造成计算冗余和几何不一致。
核心思路：GeoFlow框架的核心思路是利用显式几何先验来提高生成效率，而不是依赖标准高斯噪声。通过构建几何对齐先验分布，GeoFlow能够更好地捕捉数据分布的特征，从而缩短采样轨迹。
技术框架：GeoFlow的整体架构包括多个模块，首先通过多视角几何获取场景的几何信息，然后进行空间自适应噪声注入，最后利用几何对齐先验进行视频生成。该框架有效整合了几何信息与生成过程。
关键创新：GeoFlow的主要创新在于引入几何对齐先验分布，替代传统的高斯噪声初始化。这一设计使得生成过程更为高效，减少了不必要的计算和几何不一致性。
关键设计：在关键设计上，GeoFlow采用了多视角几何技术来提取场景信息，并通过空间自适应噪声注入来优化噪声分布。此外，损失函数的设计也考虑了几何一致性，以确保生成视频的质量和连贯性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GeoFlow在生成质量上显著优于基线模型，经过少量微调后，生成质量提升幅度达到显著水平。同时，推理步骤数量大幅减少，极大提高了生成效率，展示了该方法的实用性和前景。
🎯 应用场景
GeoFlow的研究成果在自动驾驶、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过提高驾驶视频生成的效率和质量，该技术可以为自动驾驶系统提供更为真实的模拟环境，同时在虚拟现实中增强用户体验，推动游戏开发的创新。
📄 摘要（原文）
Generative models like Diffusion Models and Flow Matching have demonstrated remarkable capabilities in synthesizing high-fidelity driving videos, but are severely constrained by high inference latency due to the requirement of extensive sampling steps. We argue that this inefficiency stems from the prevailing reliance on a standard Gaussian source distribution, where consecutive frames are initialized as independent Gaussian noise. This paradigm disregards the rich spatiotemporal correlations inherent in driving videos, compelling the model to regenerate deterministic scene structures existing in previous frames from noise, which is both computationally redundant and prone to geometric inconsistency. To address this problem, we propose GeoFlow, a novel framework designed to achieve efficient driving video generation by harnessing explicit geometric priors. Instead of sampling from standard Gaussian noise, we leverage multi-view geometry and spatially-adaptive noise injection to construct a Geometry-Aligned Prior (GAP) distribution as starting point. This initialization bridges the gap between source distribution and data distribution, yielding a significantly straighter and shorter sampling trajectory. Extensive experiments demonstrate that GeoFlow can achieve remarkable efficiency of both training and inference: merely several hours of fine-tuning on baseline models can significantly boost few-step generation quality, while fully converged training drastically reduces number of inference steps required for state-of-the-art video generation.