Improving the Robustness/Accuracy Tradeoff Against Adversarial Attacks Using Information Bottleneck Distillation Through Dual Teachers

📄 arXiv: 2607.27737v1 📥 PDF

作者: Vincent Ryusuke Takahashi, Yoshinari Takeishi, Jun'ichi Takeuchi, Kave Salamatian

分类: cs.LG

发布日期: 2026-07-30

备注: 9 pages, 5 figures

💡 一句话要点

通过双教师信息瓶颈蒸馏提升对抗攻击的鲁棒性与准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗攻击 信息瓶颈 蒸馏训练 深度学习 鲁棒性 图像分类 教师模型

📋 核心要点

  1. 现有的信息瓶颈蒸馏方法在提升对抗鲁棒性的同时，导致干净输入的分类准确性下降。
  2. 本研究通过引入一个仅用干净输入训练的教师模型，扩展了信息瓶颈蒸馏框架，旨在同时提升干净样本的准确性和对抗样本的鲁棒性。
  3. 实验结果显示，提出的方法在CIFAR-10和CIFAR-100数据集上，干净样本的分类准确性有所提升，同时对抗样本的准确性保持稳定。

📝 摘要（中文）

深度神经网络（DNN）在经典机器学习问题上取得了显著成功，但对抗攻击使其脆弱。文中提出的扩展信息瓶颈蒸馏（IBD）框架，通过引入仅用干净输入训练的教师模型，改善了干净样本的分类准确性，同时保持了对抗样本的鲁棒性。实验结果表明，该方法在CIFAR-10和CIFAR-100数据集上相较于原IBD方法，干净样本的分类准确性有所提升，并与最新的双教师蒸馏框架B-MTARD在干净与鲁棒准确性之间的调和平均数上表现出竞争力。

🔬 方法详解

问题定义：本论文旨在解决深度神经网络在对抗攻击下的脆弱性，现有的信息瓶颈蒸馏方法在增强鲁棒性的同时，往往会降低干净样本的分类准确性。

核心思路：通过引入一个仅使用干净输入训练的教师模型，结合对抗训练的鲁棒教师模型，进行信息蒸馏，从而在保持对抗鲁棒性的同时提升干净样本的分类性能。

技术框架：整体架构包括两个教师模型（干净教师和鲁棒教师）与一个学生模型。干净教师提供干净样本的特征，鲁棒教师则提供对抗样本的特征，二者通过交叉层注意力矩阵进行特征传递。

关键创新：最重要的创新在于引入了干净教师模型，使得信息蒸馏过程能够同时关注干净样本和对抗样本的特征，从而在准确性与鲁棒性之间实现更好的平衡。

关键设计：在训练过程中，注意力模块的设计至关重要，论文分析了不同训练设置对注意力模块的影响，确保了特征的有效传递与融合。具体的损失函数和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在CIFAR-10和CIFAR-100数据集上，相较于原始IBD方法，干净样本的分类准确性提升了X%（具体数据待补充），同时对抗样本的准确性保持稳定。此外，与最新的双教师蒸馏框架B-MTARD相比，在干净与鲁棒准确性之间的调和平均数上表现出竞争力。

🎯 应用场景

该研究的潜在应用领域包括图像分类、自动驾驶、金融欺诈检测等对安全性要求较高的场景。通过提升模型在对抗攻击下的鲁棒性，能够增强系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Deep neural networks (DNNs) have achieved remarkable success in classical machine learning problems. However, they are known to be vulnerable to adversarial attacks. Countermeasures proposed in the literature, notably Information Bottleneck Distillation (IBD) introduced by Kuang et al., degrade the classification accuracy on clean inputs while improving the robustness to adversarial inputs. In this work, we extend the IBD framework by introducing an extra teacher model (clean teacher) trained with only clean inputs, into the distillation process from a robust teacher model trained by adversarial training. The features of both clean and robust teachers are transferred to the student through a cross-layer attention matrix. Experimental results on the CIFAR-10 and CIFAR-100 datasets show that the proposed method improves classification accuracy on clean samples compared to the original IBD, while maintaining similar accuracy on adversarial samples. Furthermore, our methods are competitive with state-of-the-art approaches, including the recent dual-teacher distillation framework B-MTARD, particularly in terms of the harmonic mean between clean and robust accuracy. We also analyze the impact of different training settings that have different influences on the attention module.