FlowMap: High-Quality Camera Poses, Intrinsics, and Depth via Gradient Descent

📄 arXiv: 2404.15259v3 📥 PDF

作者: Cameron Smith, David Charatan, Ayush Tewari, Vincent Sitzmann

分类: cs.CV

发布日期: 2024-04-23 (更新: 2024-07-23)

备注: Project website: https://cameronosmith.github.io/flowmap/

💡 一句话要点

提出FlowMap以解决高质量相机姿态和深度估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 相机姿态估计 深度估计 光流 可微分优化 新视图合成 计算机视觉 机器人技术

📋 核心要点

  1. 现有方法在相机姿态、内参和深度估计中存在精度不足和几何一致性差的问题。
  2. 本文提出FlowMap，通过可微分的梯度下降方法优化相机参数和深度，确保几何一致性。
  3. 实验结果显示，FlowMap在新视图合成任务中表现优异，超越传统方法，达到与COLMAP相当的效果。

📝 摘要（中文）

本文介绍了FlowMap，一种端到端可微分的方法，能够精确求解视频序列中的相机姿态、相机内参和每帧的密集深度。该方法通过对比由深度、内参和姿态引起的光流与通过现成光流和点跟踪获得的对应关系，进行视频级的梯度下降最小化。我们引入了深度、内参和姿态的可微重参数化，便于一阶优化。实验证明，我们的方法在360度轨迹上实现了逼真的新视图合成，并在性能上超越了以往的基于梯度下降的束调整方法，甚至在360度新视图合成任务上与最先进的SfM方法COLMAP表现相当。

🔬 方法详解

问题定义：本文旨在解决视频序列中相机姿态、内参和深度估计的精度问题。现有的束调整方法在处理长视频时，往往面临几何一致性不足和优化效率低下的挑战。

核心思路：FlowMap通过引入可微分的梯度下降优化框架，利用光流和点跟踪信息，优化相机参数和深度，确保在长时间序列中保持几何一致性。

技术框架：该方法的整体架构包括三个主要模块：首先，通过光流计算获取初始的相机参数；其次，利用可微重参数化技术进行梯度下降优化；最后，结合点跟踪信息，确保长时间序列的几何一致性。

关键创新：FlowMap的核心创新在于其完全可微分的设计，使得相机参数和深度的优化过程能够通过标准的梯度下降方法高效进行。这与传统的SfM方法有本质区别，后者通常依赖于非线性优化。

关键设计：在损失函数设计上，FlowMap采用简单的最小二乘目标，结合光流和点跟踪的对应关系。此外，重参数化的深度、内参和姿态设计，使得优化过程能够有效收敛，提升了整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlowMap在360度新视图合成任务中表现优异，超越了传统的基于梯度下降的束调整方法，且在性能上与COLMAP相当。这一成果展示了FlowMap在相机参数和深度估计上的高效性和准确性，具有重要的实际应用价值。

🎯 应用场景

该研究在计算机视觉和机器人领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和自动驾驶等需要高精度相机定位和深度估计的场景中。通过实现高质量的视图合成，FlowMap能够为这些应用提供更为真实的视觉体验，推动相关技术的发展。

📄 摘要（原文）

This paper introduces FlowMap, an end-to-end differentiable method that solves for precise camera poses, camera intrinsics, and per-frame dense depth of a video sequence. Our method performs per-video gradient-descent minimization of a simple least-squares objective that compares the optical flow induced by depth, intrinsics, and poses against correspondences obtained via off-the-shelf optical flow and point tracking. Alongside the use of point tracks to encourage long-term geometric consistency, we introduce differentiable re-parameterizations of depth, intrinsics, and pose that are amenable to first-order optimization. We empirically show that camera parameters and dense depth recovered by our method enable photo-realistic novel view synthesis on 360-degree trajectories using Gaussian Splatting. Our method not only far outperforms prior gradient-descent based bundle adjustment methods, but surprisingly performs on par with COLMAP, the state-of-the-art SfM method, on the downstream task of 360-degree novel view synthesis (even though our method is purely gradient-descent based, fully differentiable, and presents a complete departure from conventional SfM).