Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation

📄 arXiv: 2311.12682v2 📥 PDF

作者: Mu Chen, Zhedong Zheng, Yi Yang

分类: cs.CV

发布日期: 2023-11-21 (更新: 2024-07-31)

备注: ACM MM 2024 (Oral)

💡 一句话要点

提出深度感知框架以解决场景适应问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 无监督领域适应 深度学习 场景分割 深度估计 计算机视觉 数据增强 跨任务学习

📋 核心要点

  1. 现有的无监督领域适应方法在源领域与目标领域数据混合时，未能有效考虑真实场景的布局特征，导致性能不足。
  2. 本文提出了一种深度感知框架，通过深度估计来混合语义类别，促进分割和深度学习的协同进展。
  3. 实验结果显示，所提方法在GTA到Cityscapes和Synthia到Cityscapes的mIoU分别达到了77.7和69.3，表现出显著的性能提升。

📝 摘要（中文）

场景分割通过无监督领域适应（UDA）使得从源合成数据到真实目标数据的知识转移成为可能，从而大大减少了目标领域手动像素级标注的需求。现有方法通常通过简单复制和粘贴像素来混合源领域和目标领域的数据，但这种方法未能充分考虑混合布局与真实场景的对应关系。基于对语义类别深度分布一致性的观察，本文提出了一种深度感知框架，利用深度估计显式混合类别，促进分割和深度学习的互补任务。该框架包含深度引导上下文滤波器（DCF）和跨任务编码器，能够有效模拟真实世界布局并自适应融合两项任务的特征。实验结果表明，即使使用伪深度，所提方法在GTA到Cityscapes和Synthia到Cityscapes的基准测试中也取得了竞争力的性能。

🔬 方法详解

问题定义：本文旨在解决无监督领域适应中源领域与目标领域数据混合时未能考虑真实场景布局的问题，现有方法通常通过简单的像素复制和粘贴来混合数据，导致效果不佳。

核心思路：提出的深度感知框架利用深度估计来显式混合语义类别，促进分割和深度学习的互补任务，旨在提高领域不变特征的学习效果。

技术框架：该框架主要包括两个模块：深度引导上下文滤波器（DCF）用于数据增强，模拟真实世界布局；跨任务编码器用于上下文学习，适应性融合两项任务的互补特征。

关键创新：最重要的创新在于通过深度感知的方式来混合类别，显著提高了模型在真实场景中的适应性，与传统的简单混合方法相比，能够更好地反映真实布局。

关键设计：在技术细节上，使用了伪深度生成技术来克服公共数据集缺乏深度标注的问题，同时在损失函数设计上考虑了分割和深度学习任务的协同优化。通过这些设计，模型在两个基准测试上均取得了显著的性能提升。

📊 实验亮点

实验结果表明，所提深度感知框架在GTA到Cityscapes的mIoU达77.7，在Synthia到Cityscapes的mIoU达69.3，均显著优于传统方法，展示了深度估计在场景适应中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能监控和增强现实等场景，能够有效提升计算机视觉系统在真实环境中的表现。通过减少手动标注的需求，降低了数据准备的成本，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Scene segmentation via unsupervised domain adaptation (UDA) enables the transfer of knowledge acquired from source synthetic data to real-world target data, which largely reduces the need for manual pixel-level annotations in the target domain. To facilitate domain-invariant feature learning, existing methods typically mix data from both the source domain and target domain by simply copying and pasting the pixels. Such vanilla methods are usually sub-optimal since they do not take into account how well the mixed layouts correspond to real-world scenarios. Real-world scenarios are with an inherent layout. We observe that semantic categories, such as sidewalks, buildings, and sky, display relatively consistent depth distributions, and could be clearly distinguished in a depth map. Based on such observation, we propose a depth-aware framework to explicitly leverage depth estimation to mix the categories and facilitate the two complementary tasks, i.e., segmentation and depth learning in an end-to-end manner. In particular, the framework contains a Depth-guided Contextual Filter (DCF) forndata augmentation and a cross-task encoder for contextual learning. DCF simulates the real-world layouts, while the cross-task encoder further adaptively fuses the complementing features between two tasks. Besides, it is worth noting that several public datasets do not provide depth annotation. Therefore, we leverage the off-the-shelf depth estimation network to generate the pseudo depth. Extensive experiments show that our proposed methods, even with pseudo depth, achieve competitive performance on two widely-used bench-marks, i.e. 77.7 mIoU on GTA to Cityscapes and 69.3 mIoU on Synthia to Cityscapes.