Kick Back & Relax++: Scaling Beyond Ground-Truth Depth with SlowTV & CribsTV
作者: Jaime Spencer, Chris Russell, Simon Hadfield, Richard Bowden
分类: cs.CV, cs.AI, cs.RO
发布日期: 2024-03-03
🔗 代码/项目: GITHUB
💡 一句话要点
提出SlowTV与CribsTV数据集以解决自监督单目深度估计的泛化问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 自监督学习 单目深度估计 数据集构建 零-shot泛化 计算机视觉 Transformer架构 环境多样性
📋 核心要点
- 现有自监督单目深度估计方法受限于缺乏多样化的训练数据，导致模型泛化能力不足。
- 本文提出了SlowTV和CribsTV两个新数据集，涵盖多种环境，旨在提升模型的泛化能力。
- 实验结果表明，所提方法在零-shot泛化任务上超越了现有的SS-MDE方法和一些监督方法。
📝 摘要（中文）
自监督学习是实现通用计算机视觉系统的关键。通过消除对真实标注的依赖，它能够扩展到更大规模的数据。然而，自监督单目深度估计（SS-MDE）受限于缺乏多样化的训练数据，现有数据集主要集中在城市驾驶，导致模型在其他领域的泛化能力不足。为了解决这些问题，本文提出了两个新数据集：SlowTV和CribsTV，这些数据集从公开的YouTube视频中整理而成，包含200万帧训练图像，涵盖了多种环境。利用这些数据集，我们在零-shot泛化任务上超越了现有的SS-MDE方法，甚至一些最先进的监督方法。我们的模型通过多个组件的增强，进一步提升了泛化能力。
🔬 方法详解
问题定义：本文旨在解决自监督单目深度估计中缺乏多样化训练数据的问题，现有方法主要集中在城市环境，导致模型在其他场景中的泛化能力不足。
核心思路：通过构建两个新数据集SlowTV和CribsTV，利用来自YouTube的视频数据，提供丰富的环境样本，从而提升模型的泛化能力。
技术框架：整体架构包括数据集构建、模型训练和评估三个主要阶段。数据集提供多样化的环境，模型则采用现代的Transformer架构进行训练。
关键创新：最重要的创新点在于引入了多样化的训练数据集和一系列增强技术，使得模型在零-shot任务中表现优异，超越了传统的自监督方法。
关键设计：模型设计中包括学习相机内参、强大的数据增强策略、支持帧随机化、灵活的运动估计以及现代的Transformer架构等技术细节。通过这些设计，模型的泛化能力得到了显著提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提方法在零-shot泛化任务上超越了所有现有的自监督单目深度估计方法，甚至在某些情况下超过了最先进的监督方法。具体性能数据表明，模型在多样化环境下的表现显著提升，验证了新数据集的有效性。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等。通过提升自监督学习模型的泛化能力，可以在更广泛的场景中应用深度估计技术，推动相关领域的发展。未来，这些数据集和模型将为研究者提供重要的资源，促进计算机视觉领域的进一步探索。
📄 摘要（原文）
Self-supervised learning is the key to unlocking generic computer vision systems. By eliminating the reliance on ground-truth annotations, it allows scaling to much larger data quantities. Unfortunately, self-supervised monocular depth estimation (SS-MDE) has been limited by the absence of diverse training data. Existing datasets have focused exclusively on urban driving in densely populated cities, resulting in models that fail to generalize beyond this domain. To address these limitations, this paper proposes two novel datasets: SlowTV and CribsTV. These are large-scale datasets curated from publicly available YouTube videos, containing a total of 2M training frames. They offer an incredibly diverse set of environments, ranging from snowy forests to coastal roads, luxury mansions and even underwater coral reefs. We leverage these datasets to tackle the challenging task of zero-shot generalization, outperforming every existing SS-MDE approach and even some state-of-the-art supervised methods. The generalization capabilities of our models are further enhanced by a range of components and contributions: 1) learning the camera intrinsics, 2) a stronger augmentation regime targeting aspect ratio changes, 3) support frame randomization, 4) flexible motion estimation, 5) a modern transformer-based architecture. We demonstrate the effectiveness of each component in extensive ablation experiments. To facilitate the development of future research, we make the datasets, code and pretrained models available to the public at https://github.com/jspenmar/slowtv_monodepth.