Physical 3D Adversarial Attacks against Monocular Depth Estimation in Autonomous Driving

📄 arXiv: 2403.17301v2 📥 PDF

作者: Junhao Zheng, Chenhao Lin, Jiahao Sun, Zhengyu Zhao, Qian Li, Chao Shen

分类: cs.CV, cs.CR

发布日期: 2024-03-26 (更新: 2024-03-27)

备注: Accepted by CVPR 2024

💡 一句话要点

提出3D$^2$Fool以解决单目深度估计的物理对抗攻击问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 对抗攻击 3D纹理 自动驾驶 深度学习 鲁棒性 物理攻击

📋 核心要点

  1. 现有的物理对抗攻击方法主要依赖于2D对抗贴图，导致攻击效果局限于小区域，且在不同视角下表现不佳。
  2. 本文提出的3D$^2$Fool是首个针对单目深度估计的3D纹理对抗攻击方法，能够生成与车辆模型无关的对抗纹理。
  3. 实验结果显示，3D$^2$Fool在多种场景下表现优异，能够在恶劣天气条件下实现超过10米的深度估计误差。

📝 摘要（中文）

基于深度学习的单目深度估计（MDE）在自动驾驶中广泛应用，但已知其易受对抗攻击的影响。以往的物理攻击主要依赖于2D对抗贴图，导致仅影响MDE图中的小区域，且在不同视角下效果不佳。为了解决这些局限性，本文提出了3D$^2$Fool，这是首个针对MDE模型的3D纹理对抗攻击方法。3D$^2$Fool专门优化生成与车辆模型类型无关的3D对抗纹理，并在恶劣天气条件下（如雨天和雾天）具有更强的鲁棒性。实验结果验证了3D$^2$Fool在多种场景下的优越性能，包括不同车辆、MDE模型、天气条件和视角。实际实验表明，使用打印的3D纹理在物理车辆模型上可导致超过10米的MDE误差。

🔬 方法详解

问题定义：本文旨在解决现有物理对抗攻击方法在单目深度估计中的局限性，尤其是2D对抗贴图在不同视角下的脆弱性。

核心思路：提出3D$^2$Fool，通过生成3D对抗纹理，增强对抗攻击的有效性和鲁棒性，特别是在复杂环境下。

技术框架：整体框架包括对抗纹理生成模块和攻击效果评估模块。前者负责生成与车辆模型无关的3D纹理，后者用于评估在不同天气和视角下的攻击效果。

关键创新：3D$^2$Fool是首个针对MDE模型的3D纹理对抗攻击方法，其设计使得攻击在多种环境条件下保持有效，显著提升了攻击的适应性。

关键设计：在参数设置上，采用了特定的损失函数以优化3D纹理的生成，同时结合了多种天气条件下的鲁棒性测试，确保生成的对抗纹理在实际应用中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3D$^2$Fool在多种场景下均表现出色，能够在不同车辆和天气条件下实现超过10米的深度估计误差，相较于传统2D对抗攻击方法，提升了攻击的有效性和适应性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶系统的安全性评估和对抗攻击防御策略的开发。通过提高对抗攻击的有效性，能够帮助研究人员和工程师更好地理解和增强深度估计模型的鲁棒性，进而提升自动驾驶技术的安全性和可靠性。

📄 摘要（原文）

Deep learning-based monocular depth estimation (MDE), extensively applied in autonomous driving, is known to be vulnerable to adversarial attacks. Previous physical attacks against MDE models rely on 2D adversarial patches, so they only affect a small, localized region in the MDE map but fail under various viewpoints. To address these limitations, we propose 3D Depth Fool (3D$^2$Fool), the first 3D texture-based adversarial attack against MDE models. 3D$^2$Fool is specifically optimized to generate 3D adversarial textures agnostic to model types of vehicles and to have improved robustness in bad weather conditions, such as rain and fog. Experimental results validate the superior performance of our 3D$^2$Fool across various scenarios, including vehicles, MDE models, weather conditions, and viewpoints. Real-world experiments with printed 3D textures on physical vehicle models further demonstrate that our 3D$^2$Fool can cause an MDE error of over 10 meters.