GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction

📄 arXiv: 2606.24829v1 📥 PDF

作者: Chenrui Fan, Paolo Favaro

分类: cs.CV

发布日期: 2026-06-23

备注: 36 pages, 17 figures, 18 tables

💡 一句话要点

提出GeoT2V-Bench以评估文本到视频模型的3D一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 文本到视频 3D重建 几何估计 静态场景 模型评估

📋 核心要点

  1. 现有的文本到视频模型在生成视频时，往往无法保证生成帧之间的3D一致性，导致视觉效果不够真实。
  2. 本文提出GeoT2V-Bench，通过重建方法评估T2V模型生成的视频是否支持刚性3D重建，提供更全面的评估指标。
  3. 在对3840个重建结果的评估中，发现生成视频在运动、静态渲染误差等方面存在显著的差异，揭示了模型的局限性。

📝 摘要（中文）

随着相机提示的文本到视频（T2V）模型在合成虚拟相机捕捉方面的应用日益增加，生成的帧不仅要具备视觉上的合理性，还需提供一致的多视角证据以支持单一静态3D场景的重建。为此，本文提出了GeoT2V-Bench，这是一个基于重建的诊断基准，用于评估相机提示的T2V片段是否能够支持明确的刚性3D重建。该方法通过VGGT风格的几何估计来估算每帧的相机内参和姿态，拟合DeformableGS，并通过时间中位数聚合得出静态MedianGS代理，最终沿估算的相机路径渲染该代理。GeoT2V-Bench报告了一个连续的重建轮廓，涵盖了明显的图像运动、估算的轨迹行为、MedianGS静态渲染误差等多个维度。

🔬 方法详解

问题定义：本文旨在解决相机提示的文本到视频模型在生成视频时缺乏3D一致性的问题。现有方法往往只关注视觉效果，而忽视了多视角下的静态3D场景重建能力。

核心思路：GeoT2V-Bench的核心思路是通过重建方法来评估生成视频的3D一致性，具体通过估算相机内参和姿态，进而支持刚性3D重建。

技术框架：该方法的整体架构包括几个主要模块：首先，使用VGGT风格的几何估计来获取每帧的相机内参和姿态；其次，拟合DeformableGS以获取动态信息；然后，通过时间中位数聚合得到静态MedianGS代理；最后，沿估算的相机路径渲染该代理。

关键创新：GeoT2V-Bench的创新之处在于其评估方式，不仅仅给出通过/失败的标签或单一的分数，而是提供了一个连续的重建轮廓，涵盖多个维度的评估指标。

关键设计：在参数设置上，采用了VGGT风格的几何估计方法，并通过时间中位数聚合来提高静态代理的准确性。此外，设计了多维度的评估指标，以全面反映生成视频的3D一致性。

📊 实验亮点

在对3840个重建结果的评估中，GeoT2V-Bench揭示了生成视频在明显运动、静态渲染误差和流动一致性等方面的显著差异，表明现有模型在处理静态场景时的局限性。这些发现为未来模型的改进提供了重要的参考依据。

🎯 应用场景

GeoT2V-Bench的研究成果在虚拟现实、游戏开发以及影视制作等领域具有广泛的应用潜力。通过提供更为准确的3D重建评估，该方法能够帮助开发者优化生成模型，提高生成内容的真实感和一致性，进而提升用户体验。未来，该基准还可以扩展到其他多模态生成任务中，推动相关技术的发展。

📄 摘要（原文）

Camera-prompted text-to-video (T2V) models are increasingly used to synthesize virtual camera captures, such as orbiting objects or moving through static scenes. For these outputs, visual plausibility is insufficient: the generated frames should also provide coherent multi-view evidence for a single static 3D scene. We introduce GeoT2V-Bench, a reconstruction-based diagnostic benchmark for evaluating whether camera-prompted T2V clips can support explicit rigid 3D reconstruction. Our pipeline estimates per-frame camera intrinsics and poses with VGGT-style geometry estimation, fits DeformableGS, derives a static MedianGS proxy by temporal-median aggregation, and renders this proxy along the estimated camera path. Instead of producing a pass/fail label or a single scalar score, GeoT2V-Bench reports a continuous reconstruction profile covering apparent image motion, estimated trajectory behavior, MedianGS static rendering error, static-render flow agreement, and the gap between flexible and static fits. On a fair-format four-seed evaluation with 3,840 completed reconstructions from 12 open-weight model configurations and 80 GeCo-Eval static-scene prompts, we find that visible motion, static rendering error, flow agreement, and flexible-vs-static behavior often disagree. GeoT2V-Bench therefore captures complementary failure modes that emerge when generated videos are tested as global static-scene acquisitions.