FlowMoDE: Coarse-to-fine Flow Matching for Detail-aware Sim-to-Real Monocular Depth Estimation

📄 arXiv: 2610.41190v1 📥 PDF

作者: Liangjing Shao, Wanhao Liu, Jinsong Lin, Zhiwei Fang, Hongliang Ren

分类: cs.CV

发布日期: 2026-10-30

备注: 9 Pages, 7 Figures, Under Review

💡 一句话要点

提出FlowMoDE以解决单目深度估计效率与精度问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 生成模型 流匹配 深度学习 机器人视觉 仿真到真实 跨场景泛化

📋 核心要点

  1. 现有的单目深度估计方法在效率和高保真度重建方面存在不足，尤其是在生成模型的应用中。
  2. 本文提出FlowMoDE，通过粗到细的流匹配框架，结合预训练的语义编码器提取的特征，实现高效的深度估计。
  3. 实验结果表明，FlowMoDE在多个真实世界数据集上表现优异，相对误差和Chamfer距离均显著降低，验证了其有效性。

📝 摘要（中文）

单目深度估计是机器人和智能系统进行3D空间感知的基础能力。尽管数据驱动的判别方法在单目深度估计中取得了良好效果，但生成方法在重建细节结构方面表现更佳，且具有更强的泛化能力。然而，现有的生成扩散模型在多步采样中效率较低，而单步扩散模型则难以恢复高保真度的深度图。为了解决这些问题，本文提出了FlowMoDE，一个基于粗到细流匹配的框架，旨在实现高效、结构感知的单目深度估计，支持仿真到真实和跨场景的泛化。该方法在单一合成室内数据集上训练，且在五个真实室内和室外数据集上超越了先前的方法，平均相对误差减少了14.1%，点云重建的Chamfer距离减少了9.9%。

🔬 方法详解

问题定义：本文旨在解决单目深度估计中的效率低和高保真度重建困难的问题，现有生成模型在多步采样中效率较低，而单步模型难以恢复细节。

核心思路：FlowMoDE采用粗到细的流匹配策略，首先进行粗级解码，然后通过扩展解码层恢复细粒度结构，从而提高深度估计的效率和精度。

技术框架：整体架构包括两个主要阶段：第一阶段是基于扩散特征的粗级解码，第二阶段是通过扩展解码层进行细粒度结构恢复。

关键创新：FlowMoDE的创新在于其流匹配机制和粗到细的解码过程，这与传统的单步或多步扩散模型有本质区别，能够在保持高效性的同时提升重建质量。

关键设计：该方法在训练过程中使用了单一合成室内数据集，采用特定的损失函数来优化深度图的生成，网络结构设计上注重特征提取和细节恢复的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlowMoDE在五个真实世界数据集上相较于最先进的方法，平均相对误差减少了14.1%，点云重建的Chamfer距离减少了9.9%。这些结果表明该方法在深度估计的准确性和效率上均有显著提升，验证了其优越性。

🎯 应用场景

FlowMoDE的研究成果在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用潜力。通过提高单目深度估计的效率和精度，该方法能够为智能系统提供更可靠的环境感知能力，推动相关技术的进步与应用。未来，随着更多真实场景的适配，FlowMoDE有望在更复杂的应用中发挥重要作用。

📄 摘要（原文）

Monocular depth estimation is a fundamental capability for 3D spatial perception in robotic and intelligent systems. While data-driven discriminative methods have achieved compelling performance for monocular depth estimation, generative approaches can reconstruct fine structural details with stronger generalization. However, most existing generative diffusion models suffer from low inference efficiency caused by multi-step sampling, whereas single-step diffusion models struggle to recover high-fidelity depth maps. To mitigate these drawbacks, this paper presents FlowMoDE, a coarse-to-fine flow-matching-based framework for efficient, structure-aware monocular depth estimation supporting sim-to-real and cross-scene generalization. The core architecture first conducts coarse-level decoding conditioned on diffused features extracted from a pre-trained semantic encoder, and subsequently restores fine-grained structural patterns via expanded decoding layers. Trained exclusively on a single synthetic indoor dataset, our proposed method outperforms prior methods across five real-world indoor and outdoor datasets, yielding an average 14.1% reduction in relative error against state-of-the-art works as well as 9.9\% reduction in chamfer distance for point cloud reconstruction. We further validate the generalization capability of FlowMoDE on realistic robotic scenes, with qualitative comparisons against state-of-the-art methods. The project page is https://flowmode-shao.netlify.app/