MVOFormer: Flow-Semantic Transformer for Robust Monocular Visual Odometry

📄 arXiv: 2606.16474v1 📥 PDF

作者: Jituo Li, Shunwang Sun, Jialu Zhang, Xinqi Liu, Jinyao Hu, Zhicheng Lu, Sajad Saeedi, Guodong Lu

分类: cs.CV, cs.RO

发布日期: 2026-06-15

备注: 8 pages, 6 figures. Accepted for publication in IEEE Robotics and Automation Letters (RA-L)

💡 一句话要点

提出MVOFormer以解决单目视觉里程计的鲁棒性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目视觉里程计 流语义 变换器框架 鲁棒性 跨域泛化 动态物体识别 深度学习

📋 核心要点

  1. 现有的学习型单目视觉里程计方法缺乏可解释的特征，且架构复杂，限制了其鲁棒性和跨域泛化能力。
  2. MVOFormer通过流语义双分支编码器结合几何运动线索与语义先验，提升了对静态和动态物体的区分能力。
  3. 在多个基准测试中，MVOFormer在零-shot泛化和鲁棒性方面表现优异，显著优于传统的帧间方法。

📝 摘要（中文）

单目视觉里程计（MVO）是自主导航和机器人定位的基础。然而，现有的基于学习的MVO方法常常面临缺乏可解释的互补特征或过于复杂的多阶段架构等问题。这些限制本质上影响了其鲁棒性和跨域泛化能力。本文提出了MVOFormer，一个新颖的变换器框架，旨在实现鲁棒的单目视觉里程计。该架构采用流语义双分支编码器，将密集的几何运动线索与以物体为中心的语义先验相结合，明确区分静态结构与动态干扰物。通过迭代多模态解码器进行融合，实现了粗到细的姿态优化，同时动态抑制对不可靠区域的关注。广泛的评估表明，MVOFormer在没有任何目标域微调的情况下，达到了优越的零-shot泛化能力和鲁棒性，显著超越了以往的基于学习的帧间方法。

🔬 方法详解

问题定义：本文旨在解决现有单目视觉里程计方法在鲁棒性和跨域泛化能力方面的不足，尤其是在复杂环境中对动态物体的处理能力。

核心思路：MVOFormer的核心思路是通过流语义双分支编码器将几何运动信息与语义信息相结合，以更好地区分静态和动态物体，从而提高视觉里程计的准确性和鲁棒性。

技术框架：MVOFormer的整体架构包括流语义双分支编码器和迭代多模态解码器。编码器提取运动线索和语义特征，解码器则负责融合这些特征并进行姿态优化。

关键创新：MVOFormer的关键创新在于流语义双分支编码器的设计，它能够有效地结合几何和语义信息，显著提升了对动态干扰的抑制能力，与传统方法相比具有本质的区别。

关键设计：在网络结构上，采用了多层次的特征提取和融合机制，损失函数设计上则注重对动态物体的抑制，确保模型在复杂场景中的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，MVOFormer在没有目标域微调的情况下，实现了优越的零-shot泛化能力，显著超越了传统的学习型帧间方法，提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

MVOFormer在自主驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。其鲁棒的视觉里程计能力能够支持在复杂和动态环境中进行高效的定位与导航，推动相关技术的进步与应用落地。

📄 摘要（原文）

Monocular visual odometry (MVO) is foundational to autonomous navigation and robotic localization. However, existing learning-based MVO approaches often struggle with either a lack of interpretable, complementary features or overly complex multi-stage architectures. These limitations inherently restrict their robustness and cross-domain generalization. In this work, we propose MVOFormer, a novel transformer framework for robust monocular visual odometry. Our architecture features a Flow-Semantic Dual Branch Encoder that synergizes dense geometric motion cues with object-centric semantic priors, explicitly distinguishing static structures from dynamic distractors. These representations are then fused by an Iterative Multimodal Decoder, enabling coarse-to-fine pose refinement while dynamically suppressing attention on unreliable regions. Extensive evaluations demonstrate that, without any target-domain fine-tuning, MVOFormer achieves superior zero-shot generalization and robustness, significantly outperforming prior learning-based frame-to-frame methods across diverse benchmarks including TartanAir, KITTI, TUM-RGBD, and ETH3D-SLAM.