PeerAiD: Improving Adversarial Distillation from a Specialized Peer Tutor

📄 arXiv: 2403.06668v3 📥 PDF

作者: Jaewon Jung, Hongsun Jang, Jaeyong Song, Jinho Lee

分类: cs.LG, cs.CV

发布日期: 2024-03-11 (更新: 2024-05-17)

备注: Accepted to CVPR 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出PeerAiD以解决对抗蒸馏中的教师网络局限性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗学习 对抗蒸馏 鲁棒性提升 神经网络 TinyImageNet 同伴网络 安全性

📋 核心要点

  1. 现有对抗蒸馏方法依赖于固定的教师网络，导致其在面对针对学生网络的对抗样本时鲁棒性下降。
  2. PeerAiD通过同时训练同伴网络和学生网络，使同伴网络专门学习学生网络的对抗样本，从而提升鲁棒性。
  3. 在TinyImageNet数据集上，PeerAiD使学生网络的AutoAttack准确率提高了1.66个百分点，自然准确率提高了4.72个百分点。

📝 摘要（中文）

神经网络在安全关键领域的对抗鲁棒性是一个重要问题。在此背景下，对抗蒸馏作为一种有前景的选项，旨在将教师网络的鲁棒性蒸馏到较小的学生网络中。现有方法通常预训练教师网络以增强其对抗样本的鲁棒性，但固定的教师网络在面对针对学生网络的未见对抗样本时，其鲁棒性会下降。为此，本文提出PeerAiD，通过让一个同伴网络学习学生网络的对抗样本，而不是针对自身的对抗样本，从而实现对抗蒸馏。实验表明，PeerAiD显著提高了学生网络的鲁棒性和自然准确率。

🔬 方法详解

问题定义：本文旨在解决现有对抗蒸馏方法中教师网络的固定性导致其在面对针对学生网络的对抗样本时鲁棒性下降的问题。现有方法通常只关注教师网络的鲁棒性，而忽视了学生网络的特性。

核心思路：PeerAiD的核心思路是引入一个同伴网络，该网络与学生网络同时训练，专注于学习学生网络的对抗样本。这种设计使得同伴网络能够更有效地防御针对学生网络的对抗攻击。

技术框架：PeerAiD的整体架构包括同伴网络和学生网络的并行训练过程。首先，学生网络生成对抗样本，然后同伴网络根据这些样本进行训练，最终通过对抗蒸馏提升学生网络的鲁棒性。

关键创新：PeerAiD的主要创新在于引入同伴网络的概念，使其专注于学生网络的对抗样本，而不是固定的教师网络。这一方法显著提升了学生网络的对抗鲁棒性，超越了传统的预训练教师模型。

关键设计：在设计中，PeerAiD使用了特定的损失函数来优化同伴网络与学生网络之间的对抗蒸馏过程。此外，网络结构上，PeerAiD采用了ResNet-18作为基础架构，以便在TinyImageNet数据集上进行实验。具体的参数设置和训练策略也经过精心调整，以确保最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PeerAiD在TinyImageNet数据集上的实验结果显示，学生网络的AutoAttack准确率提高了1.66个百分点，自然准确率提高了4.72个百分点，显著超越了传统的预训练教师模型。这一结果表明，PeerAiD在提升对抗鲁棒性方面具有显著的效果。

🎯 应用场景

PeerAiD的研究成果在安全关键的应用领域具有广泛的潜在价值，尤其是在自动驾驶、金融安全和网络安全等领域。通过提升神经网络的对抗鲁棒性，可以有效防止对抗攻击，增强系统的安全性和可靠性。未来，该方法还可以扩展到其他类型的网络架构和任务中，进一步推动对抗学习的研究进展。

📄 摘要（原文）

Adversarial robustness of the neural network is a significant concern when it is applied to security-critical domains. In this situation, adversarial distillation is a promising option which aims to distill the robustness of the teacher network to improve the robustness of a small student network. Previous works pretrain the teacher network to make it robust against the adversarial examples aimed at itself. However, the adversarial examples are dependent on the parameters of the target network. The fixed teacher network inevitably degrades its robustness against the unseen transferred adversarial examples which target the parameters of the student network in the adversarial distillation process. We propose PeerAiD to make a peer network learn the adversarial examples of the student network instead of adversarial examples aimed at itself. PeerAiD is an adversarial distillation that trains the peer network and the student network simultaneously in order to specialize the peer network for defending the student network. We observe that such peer networks surpass the robustness of the pretrained robust teacher model against adversarial examples aimed at the student network. With this peer network and adversarial distillation, PeerAiD achieves significantly higher robustness of the student network with AutoAttack (AA) accuracy by up to 1.66%p and improves the natural accuracy of the student network by up to 4.72%p with ResNet-18 on TinyImageNet dataset. Code is available at https://github.com/jaewonalive/PeerAiD.