ICDepth: Taming Video Diffusion Models for Video Depth Estimation via In-Context Conditioning

📄 arXiv: 2607.01677 📥 PDF

作者: Xuanhua He, Jiaxin Xie, Mingzhe Zheng, Qifeng Chen

分类: cs.CV

发布日期: 2026-07-05

💡 一句话要点

提出ICDepth以解决视频深度估计中的时序一致性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频深度估计 时序一致性 几何精度 上下文条件 扩散模型 深度学习 零-shot泛化 数据效率

📋 核心要点

  1. 现有单目视频深度估计方法在时序一致性、几何精度和泛化能力上存在显著不足，难以同时满足。
  2. 本文提出ICDepth框架，通过上下文条件适配预训练的文本到视频扩散变换器，解决深度估计中的关键挑战。
  3. ICDepth在多个基准测试中取得了最先进的结果，训练数据效率高，仅需80万帧，且展现出强大的零-shot泛化能力。

📝 摘要（中文）

单目视频深度估计需要时序一致性、几何精度和跨场景泛化能力，但现有方法难以同时满足这三者。判别模型在每帧精度上表现良好，但由于上下文窗口有限，容易出现时序漂移；而生成方法虽然提高了一致性和泛化能力，但需要大量训练数据（超过1000万样本）且缺乏几何精度。为此，本文提出了ICDepth框架，通过上下文条件（ICC）适配预训练的文本到视频扩散变换器，利用其丰富的时空先验。为了解决从生成到密集预测转移ICC的关键挑战，本文提出了SAND-Attention和SRFM两项技术。ICDepth在多个基准测试上实现了最先进的结果，数据效率显著，仅使用80万帧进行训练，表现出强大的零-shot泛化能力。

🔬 方法详解

问题定义：本文旨在解决单目视频深度估计中的时序一致性和几何精度问题。现有方法在处理时序信息时容易出现漂移，且生成方法需要大量数据以提高一致性，导致几何精度不足。

核心思路：ICDepth框架通过上下文条件（ICC）将预训练的文本到视频扩散变换器应用于视频深度估计，利用其丰富的时空先验信息来提高深度估计的精度和一致性。

技术框架：ICDepth的整体架构包括两个主要模块：SAND-Attention和SRFM。SAND-Attention确保时空对齐，通过共享的RoPE和单向注意力机制防止噪声污染；SRFM则注入DINOv2的语义和分辨率先验，以增强几何精度。

关键创新：最重要的技术创新在于SAND-Attention和SRFM的设计，前者通过单向注意力机制解决了时序漂移问题，后者则通过引入语义信息提升了几何精度。这些创新使得ICDepth在数据效率和性能上超越了现有生成方法。

关键设计：在参数设置上，ICDepth仅使用80万帧进行训练，相较于竞争对手的1000万帧以上，数据效率提升了6到13倍。损失函数和网络结构的设计也经过精心调整，以确保模型在多种场景下的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ICDepth在多个基准测试中取得了最先进的结果，训练数据效率显著，仅使用80万帧，相较于竞争生成方法减少了6至13倍。同时，该方法在不同领域展现出强大的零-shot泛化能力，显示出良好的应用潜力。

🎯 应用场景

ICDepth的研究成果可广泛应用于自动驾驶、增强现实和机器人导航等领域，能够提高这些系统在复杂环境中的深度感知能力。未来，该方法有望进一步推动视频理解和三维重建技术的发展，提升相关应用的智能化水平。

📄 摘要（原文）

Monocular video depth estimation requires temporal consistency, geometric accuracy, and generalization across diverse scenarios, yet existing methods struggle to achieve all three simultaneously. Discriminative models excel at per-frame accuracy but suffer from temporal drift due to limited context windows, while generative methods improve consistency and generalization at the cost of extensive training data (10M+ samples) and lack of geometric precision. In response to these issues, we introduce \textbf{ICDepth}, a framework that adapts pre-trained text-to-video diffusion transformers for video depth estimation via In-Context Conditioning (ICC), leveraging their rich spatial-temporal priors. To address key challenges in transferring ICC from generation to dense prediction, we propose: (1)~\textbf{SAND-Attention}, which ensures precise spatial-temporal alignment via shared RoPE and enforces unidirectional attention to prevent noise contamination; (2)~\textbf{SRFM}, which injects DINOv2 semantic and resolution priors to enhance geometric precision. ICDepth achieves state-of-the-art results on multiple benchmarks with remarkable data efficiency, trained on only 0.8M frames ($6$--$13\times$ less than competing generative methods), while demonstrating strong zero-shot generalization to diverse domains.