SSAP: A Shape-Sensitive Adversarial Patch for Comprehensive Disruption of Monocular Depth Estimation in Autonomous Navigation Applications

📄 arXiv: 2403.11515v2 📥 PDF

作者: Amira Guesmi, Muhammad Abdullah Hanif, Ihsen Alouani, Bassem Ouni, Muhammad Shafique

分类: cs.CV, cs.RO

发布日期: 2024-03-18 (更新: 2024-08-05)

备注: arXiv admin note: text overlap with arXiv:2303.01351

💡 一句话要点

提出SSAP以全面干扰单目深度估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 对抗性攻击 形状敏感补丁 自动驾驶 机器人导航 视觉系统 深度学习

📋 核心要点

  1. 现有单目深度估计方法在对抗性攻击下表现脆弱，无法全面干扰视觉系统。
  2. 本文提出的SSAP通过形状敏感的设计，选择性地扭曲深度估计或制造物体消失的错觉。
  3. 实验结果显示，SSAP在CNN模型中导致的深度估计误差超过0.5，影响99%的目标区域，且在变换器模型中也表现出显著效果。

📝 摘要（中文）

单目深度估计（MDE）在自动驾驶和机器人导航等安全关键领域取得了显著进展，但其对对抗性攻击的脆弱性引发了关注。现有方法在评估基于卷积神经网络（CNN）的深度预测时，往往只能局限于特定局部区域，未能全面干扰视觉系统。本文提出了一种新颖的形状敏感对抗补丁（SSAP），旨在全面干扰单目深度估计。该补丁通过扭曲估计距离或制造物体从系统视角消失的错觉，选择性地削弱MDE。实验结果表明，SSAP在CNN模型中导致的平均深度估计误差超过0.5，影响高达99%的目标区域，并且在变换器模型中也表现出显著的干扰效果。

🔬 方法详解

问题定义：本文旨在解决单目深度估计（MDE）在自动导航应用中对抗性攻击的脆弱性。现有方法往往只能在局部区域产生干扰，无法全面影响视觉系统的深度估计。

核心思路：SSAP（形状敏感对抗补丁）通过考虑目标物体的形状和尺度，设计出能够选择性干扰深度估计的补丁，既可以扭曲距离估计，也可以制造物体消失的错觉。

技术框架：SSAP的整体架构包括补丁的生成、训练和应用三个主要模块。补丁生成模块负责设计形状敏感的补丁，训练模块则通过对抗训练优化补丁的效果，应用模块则在实际场景中测试补丁的干扰效果。

关键创新：SSAP的主要创新在于其形状敏感性，能够根据目标物体的特征调整补丁的形状和尺度，从而在更大范围内产生影响。这一设计使得补丁的干扰效果超越了传统方法的局限。

关键设计：在设计中，补丁的参数设置考虑了不同的尺度和距离，损失函数则专注于最大化深度估计误差。此外，网络结构采用了适应性调整机制，以确保补丁在不同环境下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SSAP在CNN模型中导致的平均深度估计误差超过0.5，影响高达99%的目标区域。在变换器模型中，SSAP同样表现出显著的干扰效果，导致深度估计误差达到0.59，影响范围也超过99%。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和其他依赖于视觉感知的安全关键系统。通过有效干扰深度估计，SSAP可以帮助研究人员评估和增强视觉系统的鲁棒性，提升安全性。未来，该技术可能在对抗性训练和安全评估中发挥重要作用。

📄 摘要（原文）

Monocular depth estimation (MDE) has advanced significantly, primarily through the integration of convolutional neural networks (CNNs) and more recently, Transformers. However, concerns about their susceptibility to adversarial attacks have emerged, especially in safety-critical domains like autonomous driving and robotic navigation. Existing approaches for assessing CNN-based depth prediction methods have fallen short in inducing comprehensive disruptions to the vision system, often limited to specific local areas. In this paper, we introduce SSAP (Shape-Sensitive Adversarial Patch), a novel approach designed to comprehensively disrupt monocular depth estimation (MDE) in autonomous navigation applications. Our patch is crafted to selectively undermine MDE in two distinct ways: by distorting estimated distances or by creating the illusion of an object disappearing from the system's perspective. Notably, our patch is shape-sensitive, meaning it considers the specific shape and scale of the target object, thereby extending its influence beyond immediate proximity. Furthermore, our patch is trained to effectively address different scales and distances from the camera. Experimental results demonstrate that our approach induces a mean depth estimation error surpassing 0.5, impacting up to 99% of the targeted region for CNN-based MDE models. Additionally, we investigate the vulnerability of Transformer-based MDE models to patch-based attacks, revealing that SSAP yields a significant error of 0.59 and exerts substantial influence over 99% of the target region on these models.