Beyond Visual Ambiguity: Guiding Robust Monocular Depth Estimation in Challenging Scenarios via Detailed Long Captions
作者: Junrui Zhang, Jiaqi Li, Yiran Wang, Liao Shen, Zhiguo Cao
分类: cs.CV
发布日期: 2026-07-30
备注: Accepted to ACM MM 2026
💡 一句话要点
提出CapDepth以解决单目深度估计中的视觉歧义问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 单目深度估计 视觉歧义 长文本指导 动态文本编码 文本自适应解码 深度学习 计算机视觉
📋 核心要点
- 现有的单目深度估计方法在处理复杂场景时，尤其是非朗伯表面和恶劣天气条件下，面临视觉歧义问题，鲁棒性不足。
- 本文提出CapDepth框架，通过详细长文本提供的指导，增强深度估计的准确性，克服了现有方法的局限性。
- 实验结果表明，CapDepth在非朗伯表面和恶劣天气条件下分别实现了25.0%和22.0%的深度误差降低，超越了现有最先进的方法。
📝 摘要（中文）
单目深度估计（MDE）在处理非朗伯表面和恶劣天气条件时面临视觉歧义的挑战。现有方法通常孤立地通过图像修复或增强来应对这些问题，导致鲁棒性提升有限。本文提出CapDepth框架，利用详细长文本的指导来缓解视觉歧义。首先，设计了一个详细的长文本输入模板，明确传达多个原子句子之间的丰富空间关系。其次，引入动态文本编码器，通过逐步掩蔽注意力提取与深度相关的细粒度文本特征。最后，提出文本自适应解码器，通过稳定的自适应层归一化引导深度解码。大量实验验证了CapDepth的有效性，在非朗伯表面和恶劣天气条件下分别实现了25.0%和22.0%的深度误差降低。
🔬 方法详解
问题定义：本文旨在解决单目深度估计中由于视觉歧义导致的鲁棒性不足问题，尤其是在非朗伯表面和恶劣天气条件下，现有方法往往无法有效应对这些挑战。
核心思路：CapDepth框架的核心思路是利用详细长文本的指导，增强深度估计的准确性。通过设计长文本输入模板和动态文本编码器，提取与深度相关的细粒度特征，从而改善深度解码过程。
技术框架：CapDepth的整体架构包括三个主要模块：详细长文本输入模板、动态文本编码器和文本自适应解码器。输入模板用于传达空间关系，编码器提取特征，解码器则利用这些特征进行深度估计。
关键创新：本文的主要创新在于提出了动态文本编码器和文本自适应解码器，这些模块能够有效提取和利用文本特征，显著提升了深度估计的准确性，与现有方法相比，具备更强的鲁棒性。
关键设计：在设计中，采用了逐步掩蔽注意力机制来提取文本特征，并通过稳定的自适应层归一化来引导深度解码。此外，长文本输入模板的设计也确保了丰富的空间关系信息得以传递。
🖼️ 关键图片
📊 实验亮点
CapDepth在实验中表现出色，在非朗伯表面和恶劣天气条件下，分别实现了25.0%和22.0%的深度误差降低，显著超越了现有最先进的方法。这一成果表明，详细长文本的引入能够有效提升单目深度估计的鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些领域中，准确的深度估计对于环境理解和决策制定至关重要。未来，CapDepth框架有望在复杂环境下提供更可靠的深度信息，推动相关技术的发展。
📄 摘要（原文）
Monocular depth estimation (MDE) faces challenges with non-Lambertian surfaces and adverse weather conditions due to the visual ambiguities inherent in single-image limited information. Existing works address them in isolation via image inpainting or augmentation, yielding limited robustness gains. Language, as a powerful complementary modality to vision, is demonstrated to enhance the visual perception capabilities of vision-language models (VLMs) via detailed long captions. However, prior language-integrated MDE methods fail to fully harness this potential due to short text input with limited information, coarse global text feature learning, and limited language guidance during depth decoding. To address these limitations, we propose CapDepth, a novel framework for robust MDE that leverages guidance from detailed long captions to alleviate visual ambiguities in both challenging scenarios. First, we design a detailed long caption input template that explicitly conveys rich spatial relationships among multiple atom sentences. Second, a dynamic caption encoder is introduced to extract fine-grained depth-relevant text features via progressive masked attention. Finally, we propose a text-adaptive decoder that guides enhanced depth decoding with text features via stable adaptive layer normalization. Extensive experiments validate the efficacy of CapDepth, which outperforms state-of-the-art methods, achieving depth error reductions of 25.0% on non-Lambertian surfaces and 22.0% under adverse weather conditions.