Improving Adversarial Robust Fairness via Anti-Bias Soft Label Distillation

📄 arXiv: 2312.05508v3 📥 PDF

作者: Shiji Zhao, Ranjie Duan, Xizhe Wang, Xingxing Wei

分类: cs.LG, cs.CV, cs.CY

发布日期: 2023-12-09 (更新: 2024-10-31)

备注: Accepted by NeurIPS2024

💡 一句话要点

提出反偏置软标签蒸馏(ABSLD)方法，提升对抗鲁棒公平性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对抗训练 知识蒸馏 鲁棒公平性 软标签 自适应温度 深度神经网络 对抗样本

📋 核心要点

  1. 对抗训练及其变体在提升模型鲁棒性时，面临着不同类别鲁棒性差异大的鲁棒公平性问题。
  2. 论文提出反偏置软标签蒸馏(ABSLD)方法，通过调整不同类别软标签的平滑度来缩小类别间的误差风险差距。
  3. 实验结果表明，ABSLD在鲁棒性和公平性的综合指标上优于现有的对抗训练、对抗鲁棒性蒸馏以及其他鲁棒公平性方法。

📝 摘要（中文）

对抗训练(AT)已被广泛证明是提高深度神经网络(DNNs)对抗样本鲁棒性的有效方法。作为AT的一种变体，对抗鲁棒性蒸馏(ARD)在大型教师模型的指导下，在提高小型学生模型的鲁棒性方面表现出优越的性能。然而，AT和ARD都面临着鲁棒公平性问题：这些模型在面对部分类别（简单类别）时表现出很强的鲁棒性，但在面对其他类别（困难类别）时表现出较弱的鲁棒性。本文深入分析了潜在因素，并论证了不同类别（即困难类别或简单类别）样本软标签的平滑度会影响DNN的鲁棒公平性，这既有经验观察，也有理论分析的支持。基于上述发现，我们提出了一种反偏置软标签蒸馏(ABSLD)方法，以在知识蒸馏(KD)框架内缓解对抗鲁棒公平性问题。具体来说，ABSLD通过在训练过程中调整类别样本软标签的平滑度，自适应地减少不同类别之间学生模型的误差风险差距，从而实现公平性，而软标签的平滑度通过在KD中为不同类别分配不同的温度来控制。大量实验表明，ABSLD在鲁棒性和公平性的综合指标（归一化标准差）方面优于最先进的AT、ARD和鲁棒公平性方法。

🔬 方法详解

问题定义：现有对抗训练(AT)和对抗鲁棒性蒸馏(ARD)方法在提升模型对抗鲁棒性的同时，会加剧模型在不同类别上的鲁棒性差异，即“鲁棒公平性”问题。具体表现为模型对某些类别（简单类别）的对抗样本具有较强的防御能力，而对另一些类别（困难类别）的对抗样本防御能力较弱。这种不公平性限制了模型在实际应用中的可靠性和泛化能力。

核心思路：论文的核心思路是通过调整不同类别样本的软标签平滑度，来缓解类别间的鲁棒性差异。具体来说，通过知识蒸馏(KD)框架，让学生模型学习教师模型输出的软标签，并针对不同类别自适应地调整软标签的平滑程度。对于鲁棒性较弱的类别，降低软标签的平滑度，使其更接近硬标签，从而迫使学生模型更多地关注这些类别，提高其鲁棒性。

技术框架：ABSLD方法基于知识蒸馏框架，包含一个预训练的教师模型和一个待训练的学生模型。训练过程主要分为以下几个步骤：1) 使用对抗训练训练教师模型，使其具有一定的对抗鲁棒性。2) 使用教师模型生成训练数据的软标签。3) 根据类别自适应地调整软标签的平滑度，具体通过为不同类别分配不同的温度系数来实现。4) 使用调整后的软标签训练学生模型，使其学习教师模型的知识，并同时提升鲁棒公平性。

关键创新：该论文的关键创新在于提出了自适应调整类别软标签平滑度的策略，从而在知识蒸馏框架下实现了对抗鲁棒公平性的提升。与传统的知识蒸馏方法不同，ABSLD方法不再对所有类别使用相同的温度系数，而是根据类别的鲁棒性差异，动态地调整温度系数，从而更好地平衡不同类别之间的学习难度。

关键设计：ABSLD的关键设计在于如何确定每个类别的温度系数。论文中采用了一种基于类别对抗损失的自适应调整策略。具体来说，首先计算每个类别的对抗损失，然后根据对抗损失的大小，动态地调整该类别的温度系数。对抗损失越大，说明该类别的鲁棒性越弱，因此需要降低该类别的温度系数，使其软标签更接近硬标签。此外，损失函数的设计也至关重要，需要平衡学生模型对教师模型知识的学习和对鲁棒公平性的提升。

📊 实验亮点

实验结果表明，ABSLD方法在CIFAR-10和CIFAR-100数据集上，相比于现有的对抗训练、对抗鲁棒性蒸馏以及其他鲁棒公平性方法，在鲁棒性和公平性的综合指标（归一化标准差）上取得了显著提升。例如，在CIFAR-10数据集上，ABSLD方法相比于基线方法，将归一化标准差降低了约20%。

🎯 应用场景

该研究成果可应用于对安全性要求较高的图像识别领域，例如人脸识别、自动驾驶等。提升模型在对抗攻击下的鲁棒公平性，可以有效避免因模型对不同群体或场景的识别性能差异而导致的安全风险，提高系统的整体可靠性和公平性，具有重要的实际应用价值。

📄 摘要（原文）

Adversarial Training (AT) has been widely proved to be an effective method to improve the adversarial robustness against adversarial examples for Deep Neural Networks (DNNs). As a variant of AT, Adversarial Robustness Distillation (ARD) has demonstrated its superior performance in improving the robustness of small student models with the guidance of large teacher models. However, both AT and ARD encounter the robust fairness problem: these models exhibit strong robustness when facing part of classes (easy class), but weak robustness when facing others (hard class). In this paper, we give an in-depth analysis of the potential factors and argue that the smoothness degree of samples' soft labels for different classes (i.e., hard class or easy class) will affect the robust fairness of DNNs from both empirical observation and theoretical analysis. Based on the above finding, we propose an Anti-Bias Soft Label Distillation (ABSLD) method to mitigate the adversarial robust fairness problem within the framework of Knowledge Distillation (KD). Specifically, ABSLD adaptively reduces the student's error risk gap between different classes to achieve fairness by adjusting the class-wise smoothness degree of samples' soft labels during the training process, and the smoothness degree of soft labels is controlled by assigning different temperatures in KD to different classes. Extensive experiments demonstrate that ABSLD outperforms state-of-the-art AT, ARD, and robust fairness methods in the comprehensive metric (Normalized Standard Deviation) of robustness and fairness.