CLIP Can Understand Depth

📄 arXiv: 2402.03251v2 📥 PDF

作者: Sohee Kim, Jisu Kang, Dunam Kim, Seokju Lee

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-02-05 (更新: 2025-09-24)

备注: Accepted in Pattern Recognition, 2025

💡 一句话要点

提出镜像嵌入以改进CLIP在单目深度估计中的表现

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 CLIP 多模态学习 镜像嵌入 视觉-语言对齐 深度预测 自动驾驶 机器人导航

📋 核心要点

  1. CLIP在单目深度估计任务中表现不佳，无法有效捕捉图像补丁与描述距离的自然语言提示之间的相似性。
  2. 提出了一种名为“镜像”的可学习嵌入矩阵，旨在替代CLIP的预训练自然语言嵌入，从而优化深度估计。
  3. 实验结果显示，该框架在参数和计算效率上显著优于传统深度模型，并在多个基准数据集上达到了先进水平。

📝 摘要（中文）

本文展示了CLIP在下游任务中的适应性，尤其是在单目深度估计方面。研究表明，CLIP在预训练阶段对视觉-语言对齐的学习存在不足，导致其在深度估计任务中的泛化能力较差。为了解决这一问题，作者提出了一种名为“镜像”的可学习嵌入矩阵，旨在替代CLIP的自然语言嵌入，从而提高深度预测的准确性。通过联合训练镜像和紧凑解码器，研究表明该方法在参数和计算效率上显著优于传统深度模型，并在NYU Depth v2和KITTI基准数据集上表现出色。

🔬 方法详解

问题定义：本文旨在解决CLIP在单目深度估计任务中的表现不足，尤其是在空间和时间一致性方面的挑战。现有方法依赖于CLIP的预训练自然语言嵌入，但在深度理解上存在局限性。

核心思路：提出一种名为“镜像”的可学习嵌入矩阵，旨在替代CLIP的自然语言嵌入，以更好地捕捉图像与距离描述之间的关系。该设计的目标是生成一个接近最佳自然语言提示的非人类语言提示。

技术框架：整体架构包括一个冻结的CLIP模型和两个轻量级模块：镜像和紧凑解码器。通过联合训练这两个模块，优化深度预测的性能。

关键创新：最重要的创新在于引入镜像嵌入矩阵，显著提升了CLIP在深度估计任务中的表现，而无需对CLIP进行微调或与其预训练的子词嵌入连接。

关键设计：在训练过程中，镜像嵌入矩阵被设计为能够捕捉重要的语义线索，如人类和窗户等对象，利用这些线索来提高检测的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的框架在NYU Depth v2和KITTI基准数据集上表现优异，参数和计算效率显著高于传统深度模型，并且在所有基于冻结CLIP的视觉-语言深度模型中表现最佳。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景，能够有效提升这些领域中深度估计的准确性和效率。未来，该方法有望推动多模态学习和视觉理解的进一步发展。

📄 摘要（原文）

In this paper, we demonstrate that CLIP can also be adapted to downstream tasks where its vision-language alignment is suboptimally learned during pre-training on web-crawled data, all without requiring fine-tuning. We explore the case of monocular depth estimation, where CLIP's contrastive prior struggles to generalize, compared to its success in domains such as generative modeling and semantic segmentation. Since CLIP fails to consistently capture similarities between image patches and natural language prompts describing distance, we eliminate the use of its pre-trained natural language token embeddings and distill the semantic prior of its frozen text encoder into a single learnable embedding matrix called "mirror". The main design goal of mirror is to derive a non-human language prompt that approximates an optimal natural language prompt: "How far is this location from the camera?" Using this approach, we jointly train two lightweight modules, a mirror and a compact decoder, on top of a frozen CLIP for dense depth prediction. Compared to conventional depth models, our framework is significantly more efficient in terms of parameters and computation. The resulting model exhibits impressive performance, matching several state-of-the-art vision models on the NYU Depth v2 and KITTI benchmark datasets, while outperforming all vision-language depth models based on a frozen CLIP prior. Experiments demonstrate that the suboptimal depth understanding of CLIP in terms of spatial and temporal consistency can be significantly corrected without either fine-tuning it or concatenating mirror with its pre-trained subword token embeddings. Furthermore, an ablation study on the convergence status of mirror shows that it is implicitly trained to capture objects, such as humans and windows, where semantic cues play an important role in detection.