Virtually Enriched NYU Depth V2 Dataset for Monocular Depth Estimation: Do We Need Artificial Augmentation?

📄 arXiv: 2404.09469v1 📥 PDF

作者: Dmitry Ignatov, Andrey Ignatov, Radu Timofte

分类: cs.CV, cs.LG

发布日期: 2024-04-15

期刊: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, pages 6177-6186, 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出ANYU数据集以提升单目深度估计性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 虚拟增强 数据集 深度学习 计算机视觉 随机化

📋 核心要点

  1. 现有的单目深度估计方法通常依赖于真实世界数据集，缺乏足够的多样性和泛化能力。
  2. 论文提出ANYU数据集，通过将虚拟3D对象随机融入真实图像，增强训练数据的多样性。
  3. 实验结果表明，ANYU显著提升了单目深度估计的性能，尤其在VPD模型上表现突出。

📝 摘要（中文）

我们提出ANYU，这是NYU Depth V2数据集的一个新虚拟增强版本，旨在用于单目深度估计。与传统方法不同，ANYU通过将虚拟现实对象的RGB-D表示融入原始NYU Depth V2图像中来创建。我们随机分配纹理、位置、光照等参数，以最大化训练数据的多样性，并证明随机性可以提高数据集的泛化能力。通过在原始NYU Depth V2和iBims-1基准上进行广泛实验，我们展示了ANYU在单目深度估计性能和深度神经网络的泛化能力方面的提升，尤其是对于当前最先进的VPD模型。我们将ANYU数据集以两种训练配置公开，分别为10%和100%的合成增强RGB-D图像对，以便于高效训练和虚拟增强的实证探索。

🔬 方法详解

问题定义：本论文旨在解决单目深度估计中数据集多样性不足的问题。现有方法通常依赖于真实世界数据集，导致模型在不同场景下的泛化能力较差。

核心思路：论文的核心思路是通过将虚拟3D对象随机融入真实图像，创造出多样化的训练数据。随机化的纹理、位置和光照设置旨在提高数据集的多样性，从而增强模型的泛化能力。

技术框架：ANYU数据集的构建流程包括从原始NYU Depth V2图像中提取RGB-D信息，并将随机生成的虚拟对象融入其中。整个过程不匹配特定的纹理或位置，而是通过随机化来实现多样性。

关键创新：本研究的主要创新在于首次将随机生成的虚拟3D对象用于增强真实世界数据集，以提高单目深度估计的性能。这一方法与传统的基于完整3D场景生成数据集的方式有本质区别。

关键设计：在数据集构建中，关键参数包括随机化的纹理、位置和光照设置。损失函数和网络结构方面，论文未详细说明，但强调了多样性对模型训练的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ANYU数据集在单目深度估计任务中显著提升了性能，尤其是在VPD模型上，性能提升幅度达到XX%（具体数据未知）。与原始NYU Depth V2和iBims-1基准的对比验证了该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、自动驾驶、增强现实等，能够为这些领域提供更为准确的深度估计技术。通过提升模型的泛化能力，ANYU数据集有望在实际应用中提高系统的鲁棒性和适应性，推动相关技术的发展。

📄 摘要（原文）

We present ANYU, a new virtually augmented version of the NYU depth v2 dataset, designed for monocular depth estimation. In contrast to the well-known approach where full 3D scenes of a virtual world are utilized to generate artificial datasets, ANYU was created by incorporating RGB-D representations of virtual reality objects into the original NYU depth v2 images. We specifically did not match each generated virtual object with an appropriate texture and a suitable location within the real-world image. Instead, an assignment of texture, location, lighting, and other rendering parameters was randomized to maximize a diversity of the training data, and to show that it is randomness that can improve the generalizing ability of a dataset. By conducting extensive experiments with our virtually modified dataset and validating on the original NYU depth v2 and iBims-1 benchmarks, we show that ANYU improves the monocular depth estimation performance and generalization of deep neural networks with considerably different architectures, especially for the current state-of-the-art VPD model. To the best of our knowledge, this is the first work that augments a real-world dataset with randomly generated virtual 3D objects for monocular depth estimation. We make our ANYU dataset publicly available in two training configurations with 10% and 100% additional synthetically enriched RGB-D pairs of training images, respectively, for efficient training and empirical exploration of virtual augmentation at https://github.com/ABrain-One/ANYU