Left-right Discrepancy for Adversarial Attack on Stereo Networks

📄 arXiv: 2401.07188v1 📥 PDF

作者: Pengfei Wang, Xiaofei Hui, Beijia Lu, Nimrod Lilith, Jun Liu, Sameer Alam

分类: cs.CV

发布日期: 2024-01-14

💡 一句话要点

提出左-右差异对抗攻击以增强立体网络的鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 对抗攻击 立体匹配 深度学习 特征提取 鲁棒性增强

📋 核心要点

  1. 现有的立体匹配神经网络在特征提取过程中对左右图像特征的相似性依赖较大，导致其在面对对抗攻击时表现脆弱。
  2. 本文提出了一种新颖的对抗攻击方法，通过生成特定的扰动噪声来最大化左右图像特征之间的差异，从而提高攻击效果。
  3. 实验结果显示，该方法在KITTI和Scene Flow数据集上分别比现有方法提高了219%和85%的MAE，证明了其有效性。

📝 摘要（中文）

立体匹配神经网络通常采用Siamese结构从左右图像中提取中间特征。这些中间特征之间的相似性显著影响视差估计的准确性。本文提出了一种新颖的对抗攻击方法，专门生成扰动噪声，以最大化左右图像特征之间的差异。大量实验表明，该方法在KITTI数据集上比现有最先进的攻击方法提高了219%的平均绝对误差（MAE），在Scene Flow数据集上提高了85% MAE。此外，我们还扩展了该方法，提出了一种代理网络黑箱攻击方法，无需访问立体神经网络，利用来自不同视觉任务的任意网络作为代理生成对抗噪声，有效导致立体网络产生错误预测。我们的研究结果强调了立体网络对浅层特征差异的显著敏感性，为未来增强立体视觉系统的鲁棒性提供了宝贵的见解。

🔬 方法详解

问题定义：本文旨在解决立体匹配神经网络在特征提取过程中对左右图像特征相似性的依赖问题，现有方法在对抗攻击下表现脆弱，导致视差估计不准确。

核心思路：论文提出的核心思路是生成特定的扰动噪声，以最大化左右图像特征之间的差异，从而诱导立体网络产生更大的预测误差。通过这种方式，攻击者可以有效地干扰网络的正常功能。

技术框架：整体架构包括两个主要阶段：首先，利用Siamese结构提取左右图像的中间特征；其次，通过设计的对抗攻击算法生成扰动噪声，进而影响特征相似性。

关键创新：最重要的技术创新在于提出了一种新的对抗攻击方法，专注于左右特征差异的最大化，与现有方法相比，能够显著提高攻击效果。

关键设计：在参数设置上，采用了特定的损失函数来优化扰动噪声的生成过程，确保其能够有效地影响立体网络的输出。网络结构方面，利用了代理网络进行黑箱攻击，进一步增强了方法的适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的方法在KITTI数据集上比现有最先进的攻击方法提高了219%的平均绝对误差（MAE），在Scene Flow数据集上提高了85% MAE，证明了其在对抗攻击中的优越性和有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人视觉和增强现实等需要高精度立体视觉的场景。通过增强立体网络的鲁棒性，可以提高这些系统在复杂环境下的可靠性和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Stereo matching neural networks often involve a Siamese structure to extract intermediate features from left and right images. The similarity between these intermediate left-right features significantly impacts the accuracy of disparity estimation. In this paper, we introduce a novel adversarial attack approach that generates perturbation noise specifically designed to maximize the discrepancy between left and right image features. Extensive experiments demonstrate the superior capability of our method to induce larger prediction errors in stereo neural networks, e.g. outperforming existing state-of-the-art attack methods by 219% MAE on the KITTI dataset and 85% MAE on the Scene Flow dataset. Additionally, we extend our approach to include a proxy network black-box attack method, eliminating the need for access to stereo neural network. This method leverages an arbitrary network from a different vision task as a proxy to generate adversarial noise, effectively causing the stereo network to produce erroneous predictions. Our findings highlight a notable sensitivity of stereo networks to discrepancies in shallow layer features, offering valuable insights that could guide future research in enhancing the robustness of stereo vision systems.