PIVOT: A Multi-Trajectory Dataset and Testbed for Pose, Intrinsics, and Novel Viewpoint Evaluation in Real-World 3D Reconstruction

📄 arXiv: 2608.25401v1 📥 PDF

作者: Mary Raymond

分类: cs.CV, cs.AI

发布日期: 2026-08-26

💡 一句话要点

提出PIVOT以解决真实场景3D重建评估问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 神经辐射场 多轨迹数据集 相机姿态 内参优化 性能评估 无人机视觉

📋 核心要点

  1. 现有3D重建方法在真实场景中评估时，常常依赖于优化的相机姿态和内参，导致性能评估不够全面。
  2. PIVOT通过多轨迹数据集和处理管道，独立研究姿态、内参和视角对3D重建的影响，提供更真实的评估框架。
  3. 实验结果显示，保留视图与未见轨迹之间存在显著质量差距，同时对姿态来源和相机内参的敏感性较高。

📝 摘要（中文）

神经辐射场（NeRF）、3D高斯点云（3DGS）及相关的新视角合成方法通常在比机器人、无人机和自主系统所遇到的更干净的捕获和重建条件下进行评估。现有基准往往依赖于优化的相机姿态和内参，以及从训练期间表示的轨迹中采样的保留视图。这些假设可能掩盖了在测量姿态、可重用相机校准和结构上不同的相机路径下的性能。我们提出了PIVOT（姿态、内参和视角导向测试平台），一个多轨迹数据集、处理管道和评估框架，用于独立研究这些因素。PIVOT使用多样的相机轨迹捕获每个场景，并保留可用的传感器测量姿态和COLMAP优化姿态，以及经过校准和优化的相机内参。它定义了三类基准：1）已见与未见轨迹的新视角泛化，2）测量与优化姿态的敏感性，3）校准与优化内参的敏感性。

🔬 方法详解

问题定义：现有方法在真实场景中的评估往往依赖于优化的相机姿态和内参，导致在复杂环境下的性能评估不够准确，无法反映实际应用中的挑战。

核心思路：PIVOT通过引入多轨迹数据集和评估框架，旨在独立研究姿态、内参和视角对3D重建的影响，从而提供更全面的性能评估。

技术框架：PIVOT的整体架构包括数据采集、处理管道和评估模块。数据采集使用多样的相机轨迹，处理管道则整合了传感器测量姿态和优化姿态，评估模块则定义了三类基准以进行性能比较。

关键创新：PIVOT的主要创新在于其多轨迹数据集和针对姿态、内参敏感性的独立评估框架，这与现有方法的依赖于优化条件的评估方式形成鲜明对比。

关键设计：在数据采集过程中，PIVOT使用了DJI Mini 4 Pro相机，确保了数据的多样性和真实性；同时，定义了有针对性的基准测试，以量化不同条件下的性能差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PIVOT在评估中揭示了保留视图与未见轨迹之间存在显著的质量差距，且对姿态来源和相机内参的敏感性较高。这些发现为未来的3D重建研究提供了重要的参考依据。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、无人机视觉、增强现实等。通过提供更真实的3D重建评估框架，PIVOT能够帮助研究人员和工程师在复杂环境中优化算法，提高系统的鲁棒性和性能。

📄 摘要（原文）

Neural radiance fields (NeRFs), 3D Gaussian Splatting (3DGS), and related novel-view synthesis methods are commonly evaluated under capture and reconstruction conditions cleaner than those encountered by robots, drones, and autonomous systems. Benchmarks often rely on reconstruction-friendly trajectories, optimized camera poses and intrinsics, and held-out views sampled from trajectories represented during training. These assumptions can obscure performance with measured poses, reusable camera calibration, and structurally different camera paths. We introduce PIVOT (Pose, Intrinsics and Viewpoint Oriented Testbed), a multi-trajectory dataset, processing pipeline, and evaluation framework for independently studying these factors. PIVOT captures each scene using diverse camera trajectories and retains, where available, both sensor-derived measured poses and COLMAP-optimized poses, together with calibrated and optimized camera intrinsics. It defines three benchmark families: (1) seen versus unseen trajectory novel-view generalization, (2) measured versus optimized pose sensitivity, and (3) calibrated versus optimized intrinsics sensitivity. We also introduce a directed pose-space Chamfer distance to quantify how well training poses cover an evaluation trajectory. PIVOT v1 contains five real-world scenes captured with a DJI Mini 4 Pro and provides an open processing and Nerfstudio-based evaluation toolchain. Benchmark results show a consistent quality gap between held-out views on represented trajectories and unseen trajectories, as well as substantial sensitivity to pose source and camera intrinsics.