OrbitForge: Text-to-3D Scene Generation via Reconstruction-Anchored Video Synthesis
作者: Chenrui Fan, Paolo Favaro
分类: cs.CV, cs.AI
发布日期: 2026-06-23
备注: 40 pages, 33 figures, 19 tables
💡 一句话要点
提出OrbitForge以解决文本生成视频的3D场景一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 文本到视频生成 3D重建 高斯点云 视频合成 覆盖感知评估
📋 核心要点
- 现有的文本到视频生成方法在生成3D资产时面临相机运动控制困难和视角覆盖不足等问题。
- OrbitForge通过结合冻结视频先验和高斯点云重建优化，将文本生成的视频转换为一致的3D场景，避免了特定任务的视频微调。
- 在300个提示的T3Bench审计中，OrbitForge的重建效果显著提升，测得的中位跨度达到359.0度，ImageReward从8.07提升至16.36。
📝 摘要（中文）
现有的通用文本到视频模型虽然能够生成高质量的视频，但在生成可靠的3D资产方面存在诸多挑战，如相机运动难以控制、视角覆盖不全以及时间上的不一致性。为此，本文提出了OrbitForge，一个基于冻结视频先验和每个提示的高斯点云重建优化的适配器，能够将单个文本生成的视频转换为规范的闭合轨道3D高斯点云场景。通过使用3D重建作为锚点，OrbitForge显著提高了生成视频的3D一致性，并在多个评估指标上超越了现有方法。
🔬 方法详解
问题定义：本文旨在解决现有文本到视频生成方法在生成3D场景时的相机运动控制、视角覆盖不足和时间一致性差等问题。这些问题导致生成的3D资产不够可靠。
核心思路：OrbitForge的核心思路是利用冻结的视频先验和每个提示的高斯点云重建优化，将单个文本生成的视频转化为规范的闭合轨道3D场景。通过3D重建作为锚点，提升生成视频的3D一致性。
技术框架：OrbitForge的整体架构包括多个模块：首先从生成的视频中获取初步的3D重建，然后通过Deformable Gaussian Splatting和MedianGS代理进行优化，接着渲染预设轨道的视图以检测缺失的视角，最后补全缺失视角并重建为最终的高斯点云场景。
关键创新：OrbitForge的主要创新在于其无需特定任务的视频或多视图微调，避免了逐步生成视角的过程，同时引入了覆盖感知评估机制，确保生成方法的全面性。
关键设计：在设计中，OrbitForge采用了MedianGS作为强健的代理，并通过优化损失函数来确保生成场景的3D一致性。此外，系统的参数设置和网络结构经过精心设计，以提高重建效果和视角覆盖率。
🖼️ 关键图片
📊 实验亮点
在实验中，OrbitForge的重建效果显著提升，测得的中位跨度达到359.0度，相较于MedianGS仅重建的结果，ImageReward从8.07提升至16.36，显示出其在覆盖质量上的竞争力，超越了现有的VideoMV方法。
🎯 应用场景
OrbitForge的研究成果在多个领域具有潜在应用价值，如虚拟现实、游戏开发和电影制作等。通过提供高质量的3D场景生成工具，能够大幅提升内容创作的效率和质量，推动相关行业的发展。此外，该技术也可用于增强现实应用中，为用户提供更为沉浸的体验。
📄 摘要（原文）
Generic text-to-video models can be used as rich open-world scene priors. Despite the high quality of today's generated videos, they do not directly yield reliable 3D assets: camera motion is difficult to control, view coverage is partial, and frames often contain inconsistencies across time. We introduce OrbitForge, an adapter built from frozen video priors and per-prompt Gaussian Splatting reconstruction optimization that converts a single text-generated video into a canonical closed-orbit 3D Gaussian Splatting scene. We use 3D reconstruction as an anchor to improve the 3D consistency of the generated video. We obtain a preliminary 3D reconstruction from a first generated video via Deformable Gaussian Splatting with a robust MedianGS proxy. We render views from a prescribed orbit to detect missing viewpoints. OrbitForge uses the text-to-video model to complete only the missing views, and reconstructs the completed orbit into a final Gaussian Splatting scene. This design requires no task-specific video or multiview fine-tuning, avoids per-prompt score-distillation optimization, and does not progressively generate views one step at a time. We further argue that this setting demands coverage-aware evaluation: local smoothness alone rewards methods that never attempt a full orbit. On a frozen 300-prompt T3Bench-derived audit, OrbitForge reconstruction attains a 359.0-degree measured median span, raises originally unsupported-bin Q10 ImageReward from 8.07 to 16.36 relative to MedianGS-only reconstruction, while remaining competitive with VideoMV on the coverage-quality.