NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks

📄 arXiv: 2311.00428v1 📥 PDF

作者: Seokil Ham, Jungwuk Park, Dong-Jun Han, Jaekyun Moon

分类: cs.LG

发布日期: 2023-11-01

备注: 10 pages, 4 figures, accepted by 37th Conference on Neural Information Processing Systems (NeurIPS 2023)

💡 一句话要点

提出NEO-KD以解决多出口神经网络的对抗攻击问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗训练 知识蒸馏 多出口神经网络 鲁棒性 深度学习

📋 核心要点

  1. 现有的多出口神经网络在面对对抗攻击时表现出较高的脆弱性，攻击不仅影响特定出口，还会降低其他出口的性能。
  2. NEO-KD通过邻居知识蒸馏和出口间正交知识蒸馏来增强多出口网络的对抗鲁棒性，减少对抗样本的转移性。
  3. 实验结果显示，NEO-KD在多个数据集上实现了最佳的对抗准确率，相比基线方法显著降低了计算预算。

📝 摘要（中文）

多出口神经网络被视为通过早期退出实现高效推理的有前景的解决方案，但抵御对抗攻击仍然是一个挑战。在多出口网络中，针对特定出口的对抗样本不仅会降低目标出口的性能，还会同时影响所有其他出口的性能。本文提出NEO-KD，一种基于知识蒸馏的对抗训练策略，旨在解决这一根本性挑战。NEO-KD首先利用邻居知识蒸馏来引导对抗样本的输出趋向于干净数据的邻近出口的集成输出。此外，NEO-KD还采用出口间正交知识蒸馏，以减少不同子模型之间的对抗可转移性。实验结果表明，与现有的对抗训练或知识蒸馏技术相比，我们的方法在多个数据集/模型上实现了最佳的对抗准确率，并减少了计算开销。

🔬 方法详解

问题定义：本文旨在解决多出口神经网络在对抗攻击下的脆弱性，现有方法未能有效应对攻击对多个出口性能的影响。

核心思路：NEO-KD的核心思路是通过知识蒸馏技术来增强网络的对抗鲁棒性，具体包括邻居知识蒸馏和出口间正交知识蒸馏，以引导对抗样本的输出。

技术框架：NEO-KD的整体架构包括两个主要模块：邻居知识蒸馏模块和出口间正交知识蒸馏模块，前者用于引导对抗样本输出，后者用于减少不同子模型间的对抗可转移性。

关键创新：NEO-KD的创新在于结合了邻居知识蒸馏和出口间正交知识蒸馏，显著提升了多出口网络的对抗鲁棒性，与传统的对抗训练方法相比，提供了更有效的解决方案。

关键设计：在设计中，NEO-KD采用了特定的损失函数来平衡知识蒸馏的目标，并优化了网络结构以适应多出口的特性，确保了对抗样本的有效处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NEO-KD在多个数据集上实现了最佳的对抗准确率，相比于现有的对抗训练和知识蒸馏基线，计算预算显著降低，提升幅度达到XX%（具体数据待补充）。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在安全敏感的领域，如自动驾驶、金融监控和医疗影像分析等。通过增强多出口神经网络的对抗鲁棒性，可以提高这些系统在面对恶意攻击时的可靠性和安全性，未来可能推动更安全的智能系统的开发。

📄 摘要（原文）

While multi-exit neural networks are regarded as a promising solution for making efficient inference via early exits, combating adversarial attacks remains a challenging problem. In multi-exit networks, due to the high dependency among different submodels, an adversarial example targeting a specific exit not only degrades the performance of the target exit but also reduces the performance of all other exits concurrently. This makes multi-exit networks highly vulnerable to simple adversarial attacks. In this paper, we propose NEO-KD, a knowledge-distillation-based adversarial training strategy that tackles this fundamental challenge based on two key contributions. NEO-KD first resorts to neighbor knowledge distillation to guide the output of the adversarial examples to tend to the ensemble outputs of neighbor exits of clean data. NEO-KD also employs exit-wise orthogonal knowledge distillation for reducing adversarial transferability across different submodels. The result is a significantly improved robustness against adversarial attacks. Experimental results on various datasets/models show that our method achieves the best adversarial accuracy with reduced computation budgets, compared to the baselines relying on existing adversarial training or knowledge distillation techniques for multi-exit networks.