ICDepth: Taming Video Diffusion Models for Video Depth Estimation via In-Context Conditioning

📄 arXiv: 2607.01677v1 📥 PDF

作者: Xuanhua He, Jiaxin Xie, Mingzhe Zheng, Qifeng Chen

分类: cs.CV

发布日期: 2026-07-02

备注: Accepted to ECCV 2026. Project page: https://xuanhuahe.github.io/ICDepth/

💡 一句话要点

提出ICDepth以解决单目视频深度估计中的时序一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频深度估计 时序一致性 几何精度 上下文条件 深度学习 生成模型 自动驾驶 增强现实

📋 核心要点

  1. 现有单目视频深度估计方法在时序一致性、几何精度和泛化能力上存在显著不足，难以兼顾三者。
  2. 本文提出ICDepth框架，通过上下文条件（ICC）适配预训练的文本到视频扩散变换器，解决深度估计中的关键挑战。
  3. ICDepth在多个基准测试中表现优异，仅用80万帧训练，显示出显著的数据效率和强大的零-shot 泛化能力。

📝 摘要（中文）

单目视频深度估计需要时序一致性、几何精度和在多样场景中的泛化能力，但现有方法难以同时满足这三者。判别模型在每帧的准确性上表现良好，但由于上下文窗口的限制，容易出现时序漂移；而生成方法虽然提高了一致性和泛化能力，但需要大量训练数据（超过1000万样本），且缺乏几何精度。为了解决这些问题，本文提出了ICDepth框架，通过上下文条件（ICC）将预训练的文本到视频扩散变换器适配于视频深度估计，利用其丰富的时空先验。ICDepth在多个基准测试中取得了最先进的结果，仅用80万帧进行训练（比竞争的生成方法少6到13倍），同时在多样领域展示了强大的零-shot 泛化能力。

🔬 方法详解

问题定义：本文旨在解决单目视频深度估计中的时序一致性、几何精度和泛化能力不足的问题。现有方法在这三方面的表现往往相互制约，导致无法全面满足实际应用需求。

核心思路：ICDepth框架通过上下文条件（ICC）将预训练的文本到视频扩散变换器应用于视频深度估计，利用其丰富的时空先验信息，旨在提高深度估计的准确性和一致性。

技术框架：ICDepth的整体架构包括两个主要模块：SAND-Attention和SRFM。SAND-Attention确保时空对齐，使用共享的RoPE（相对位置编码）和单向注意力机制，防止噪声干扰；SRFM则注入DINOv2的语义和分辨率先验，以增强几何精度。

关键创新：最重要的技术创新在于SAND-Attention和SRFM的设计。SAND-Attention通过单向注意力机制解决了时序漂移问题，而SRFM则通过引入语义信息提升了几何精度，这与传统方法的设计思路有本质区别。

关键设计：在参数设置上，ICDepth使用了较少的训练数据（仅80万帧），相较于其他生成方法减少了6到13倍的训练样本。同时，损失函数和网络结构经过精心设计，以确保在保持数据效率的同时，提升模型的准确性和泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ICDepth在多个基准测试中取得了最先进的结果，训练仅用80万帧，相较于竞争的生成方法减少了6到13倍的训练数据，同时在多样领域展示了强大的零-shot 泛化能力，显示出显著的数据效率和性能提升。

🎯 应用场景

ICDepth的研究成果在自动驾驶、增强现实和机器人导航等领域具有广泛的应用潜力。通过提高视频深度估计的准确性和一致性，该方法能够为实时环境感知提供更可靠的支持，进而推动相关技术的发展和应用。

📄 摘要（原文）

Monocular video depth estimation requires temporal consistency, geometric accuracy, and generalization across diverse scenarios, yet existing methods struggle to achieve all three simultaneously. Discriminative models excel at per-frame accuracy but suffer from temporal drift due to limited context windows, while generative methods improve consistency and generalization at the cost of extensive training data (10M+ samples) and lack of geometric precision. In response to these issues, we introduce \textbf{ICDepth}, a framework that adapts pre-trained text-to-video diffusion transformers for video depth estimation via In-Context Conditioning (ICC), leveraging their rich spatial-temporal priors. To address key challenges in transferring ICC from generation to dense prediction, we propose: (1)~\textbf{SAND-Attention}, which ensures precise spatial-temporal alignment via shared RoPE and enforces unidirectional attention to prevent noise contamination; (2)~\textbf{SRFM}, which injects DINOv2 semantic and resolution priors to enhance geometric precision. ICDepth achieves state-of-the-art results on multiple benchmarks with remarkable data efficiency, trained on only 0.8M frames ($6$--$13\times$ less than competing generative methods), while demonstrating strong zero-shot generalization to diverse domains.