Instance-Warp: Saliency Guided Image Warping for Unsupervised Domain Adaptation
作者: Shen Zheng, Anurag Ghosh, Srinivasa G. Narasimhan
分类: cs.CV, cs.LG
发布日期: 2024-03-19 (更新: 2024-12-04)
备注: WACV 2025 Accepted Paper
🔗 代码/项目: GITHUB
💡 一句话要点
提出Instance-Warp以解决无监督领域适应中的背景干扰问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 无监督领域适应 图像扭曲 显著性引导 特征学习 自动驾驶
📋 核心要点
- 现有无监督领域适应方法在处理复杂背景时表现不佳，难以有效学习前景对象特征。
- 本文提出了一种实例级显著性引导的图像扭曲方法，聚焦于显著对象以改善特征学习。
- 实验结果表明，该方法在多个数据集上均有显著提升，如BDD100K和Cityscapes等，且训练开销低。
📝 摘要（中文）
在夜间、雨天和雪天等复杂驾驶条件下，缺乏良好的标注数据集限制了场景理解的进展。无监督领域适应（UDA）利用大规模标注的晴天数据集是一种有前景的研究方向。然而，现有的许多UDA方法在训练时受限于显著的场景背景，导致它们难以有效学习较小且稀疏的前景对象特征。本文提出了一种基于显著性引导的图像扭曲方法，通过聚焦于显著对象来改善UDA训练，增强特征学习效果。实验结果显示，该方法在多个领域适应任务中均取得了显著提升。
🔬 方法详解
问题定义：本文旨在解决无监督领域适应中背景干扰对前景对象特征学习的负面影响。现有方法往往在训练时过于依赖显著的场景背景，导致对小型前景对象的学习效果不佳。
核心思路：提出了一种基于显著性引导的图像扭曲方法，通过动态调整前景和背景的采样比例，增强对显著对象的关注，从而改善特征学习效果。
技术框架：整体架构包括显著性引导模块和图像扭曲模块。显著性引导模块负责识别和增强前景对象区域，而图像扭曲模块则在训练过程中对图像进行适应性变换，以突出显著对象。
关键创新：最重要的创新在于引入实例级显著性引导，能够自适应地调整前景和背景的采样比例，从而有效减少背景对特征学习的干扰。与传统方法相比，该方法在处理复杂场景时表现出更强的鲁棒性。
关键设计：在参数设置上，采用了动态的显著性阈值来区分前景和背景，损失函数设计上则结合了前景对象的特征学习和背景抑制，确保模型在训练过程中能够有效聚焦于重要信息。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文方法在多个数据集上均取得了显著提升，如BDD100K Clear到DENSE Foggy任务中提升了6.1 mAP50，BDD100K Day到Night提升了3.7 mAP50，Cityscapes到ACDC提升了6.3 mIoU，且训练内存消耗和推理延迟均保持在最低水平。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、视频监控和智能交通系统等。在复杂天气条件下，能够有效提升模型的场景理解能力，进而提高自动驾驶系统的安全性和可靠性。未来，该方法有望推广至更多领域的无监督学习任务中。
📄 摘要（原文）
Driving is challenging in conditions like night, rain, and snow. Lack of good labeled datasets has hampered progress in scene understanding under such conditions. Unsupervised Domain Adaptation (UDA) using large labeled clear-day datasets is a promising research direction in such cases. However, many UDA methods are trained with dominant scene backgrounds (e.g., roads, sky, sidewalks) that appear dramatically different across domains. As a result, they struggle to learn effective features of smaller and often sparse foreground objects (e.g., people, vehicles, signs). In this work, we improve UDA training by applying in-place image warping to focus on salient objects. We design instance-level saliency guidance to adaptively oversample object regions and undersample background areas, which reduces adverse effects from background context and enhances backbone feature learning. Our approach improves adaptation across geographies, lighting, and weather conditions, and is agnostic to the task (segmentation, detection), domain adaptation algorithm, saliency guidance, and underlying model architecture. Result highlights include +6.1 mAP50 for BDD100K Clear $\rightarrow$ DENSE Foggy, +3.7 mAP50 for BDD100K Day $\rightarrow$ Night, +3.0 mAP50 for BDD100K Clear $\rightarrow$ Rainy, and +6.3 mIoU for Cityscapes $\rightarrow$ ACDC. Besides, Our method adds minimal training memory and no additional inference latency. Code is available at https://github.com/ShenZheng2000/Instance-Warp