HyVGGT-VO: Tightly Coupled Hybrid Dense Visual Odometry with Feed-Forward Models

📄 arXiv: 2604.02107v1 📥 PDF

作者: Junxiang Pan, Lipu Zhou, Baojie Chen

分类: cs.RO

发布日期: 2026-04-02

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出HyVGGT-VO以解决稠密视觉里程计的计算效率与重建能力问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 稠密视觉里程计 前馈模型 机器人导航 增强现实 自动驾驶 混合跟踪 分层优化

📋 核心要点

  1. 现有的稠密视觉里程计方法在计算效率和实时性上存在明显不足，导致无法满足高频姿态输出的需求。
  2. HyVGGT-VO框架通过结合传统稀疏VO与VGGT前馈模型，设计了自适应混合跟踪前端，提升了稠密重建能力。
  3. 在实验中，该方法在EuRoC数据集上实现了85%的轨迹误差降低，并在KITTI基准上减少了12%的误差，同时处理速度提升约5倍。

📝 摘要（中文）

稠密视觉里程计（VO）提供姿态估计和稠密3D重建，是机器人和增强现实等应用的基础。近期，前馈模型在稠密映射中表现出色，但在稠密视觉SLAM系统中，由于计算负担重，导致只能在关键帧输出稀疏姿态，无法实现实时估计。传统稀疏方法虽然计算效率高、姿态输出频率高，但缺乏稠密重建能力。为解决这些问题，本文提出了HyVGGT-VO框架，首次将传统VO与VGGT前馈模型紧密结合，设计了自适应混合跟踪前端，动态切换传统光流与VGGT跟踪头，确保鲁棒性。同时引入分层优化框架，联合优化VO姿态与VGGT预测的尺度，确保全局尺度一致性。该方法在室内EuRoC数据集上实现了约5倍的处理速度提升，平均轨迹误差降低85%。

🔬 方法详解

问题定义：本文旨在解决稠密视觉里程计在实时性和计算效率上的不足，现有方法在使用前馈模型时，计算负担过重，导致只能输出稀疏姿态，无法实现实时估计。

核心思路：HyVGGT-VO框架通过紧密结合传统视觉里程计与VGGT前馈模型，设计了一个自适应混合跟踪前端，能够在传统光流与VGGT之间动态切换，以确保系统的鲁棒性和稠密重建能力。

技术框架：该框架主要包括自适应混合跟踪前端和分层优化框架。前者负责姿态跟踪，后者则联合优化VO姿态与VGGT预测的尺度，确保全局一致性。

关键创新：本研究的创新点在于首次将传统VO框架与VGGT前馈模型紧密结合，形成了一种新的混合跟踪机制，显著提升了稠密重建能力与计算效率。

关键设计：在设计中，采用了动态切换机制以适应不同场景下的需求，同时引入了分层优化策略，确保了全局尺度的一致性，提升了整体系统的性能。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，HyVGGT-VO在室内EuRoC数据集上实现了85%的轨迹误差降低，并在KITTI基准上减少了12%的误差。同时，该方法的处理速度相比现有VGGT方法提升了约5倍，展现了显著的性能优势。

🎯 应用场景

HyVGGT-VO框架在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。通过提供高效的姿态估计和稠密3D重建，该方法能够显著提升这些应用的实时性和准确性，推动相关技术的发展与应用。

📄 摘要（原文）

Dense visual odometry (VO), which provides pose estimation and dense 3D reconstruction, serves as the cornerstone for applications ranging from robotics to augmented reality. Recently, feed-forward models have demonstrated remarkable capabilities in dense mapping. However, when these models are used in dense visual SLAM systems, their heavy computational burden restricts them to yielding sparse pose outputs at keyframes while still failing to achieve real-time pose estimation. In contrast, traditional sparse methods provide high computational efficiency and high-frequency pose outputs, but lack the capability for dense reconstruction. To address these limitations, we propose HyVGGT-VO, a novel framework that combines the computational efficiency of sparse VO with the dense reconstruction capabilities of feed-forward models. To the best of our knowledge, this is the first work to tightly couple a traditional VO framework with VGGT, a state-of-the-art feed-forward model. Specifically, we design an adaptive hybrid tracking frontend that dynamically switches between traditional optical flow and the VGGT tracking head to ensure robustness. Furthermore, we introduce a hierarchical optimization framework that jointly refines VO poses and the scale of VGGT predictions to ensure global scale consistency. Our approach achieves an approximately 5x processing speedup compared to existing VGGT-based methods, while reducing the average trajectory error by 85% on the indoor EuRoC dataset and 12% on the outdoor KITTI benchmark. Our code will be publicly available upon acceptance. Project page: https://geneta2580.github.io/HyVGGT-VO.io.