Improving Certified Robustness via Adversarial Distillation

📄 arXiv: 2606.31653v1 📥 PDF

作者: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

分类: cs.LG, cs.AI

发布日期: 2026-06-30

💡 一句话要点

提出AD-CERT以提升神经网络的认证鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 认证训练 对抗蒸馏 鲁棒性 深度学习 区间界限传播 神经网络 模型优化

📋 核心要点

  1. 现有的认证训练方法在提高模型鲁棒性的同时，往往会牺牲标准准确性，导致难以满足实际应用需求。
  2. 本文提出AD-CERT，通过结合对抗蒸馏与IBP上界，提供了一种新的认证训练目标，旨在改善标准认证准确性。
  3. 实验结果表明，AD-CERT在多个鲁棒性基准上实现了最先进的认证性能，相较于传统方法提升了多达5.40个百分点。

📝 摘要（中文）

认证训练旨在生成可对抗扰动进行形式验证的模型，通常通过优化允许扰动集上的最坏情况损失的上界来实现。现有的基于紧松弛界限的认证训练方法虽然能够生成可认证的网络，但牺牲了标准准确性。相反，对抗训练通常能获得更强的经验鲁棒性和标准准确性，但生成的模型通常难以通过神经网络验证器进行认证。本文提出AD-CERT，这是一种结合对抗蒸馏和基于区间界限传播（IBP）上界的认证训练目标。我们展示了从经验鲁棒教师的logit空间蒸馏对抗信息能够有效地作为认证训练的下界替代，AD-CERT在多个鲁棒性基准上实现了最先进的认证性能。

🔬 方法详解

问题定义：本文解决的是如何在保持标准准确性的同时，提升神经网络的认证鲁棒性。现有方法往往在认证性能和标准准确性之间存在权衡，导致实际应用受限。

核心思路：论文的核心思路是结合对抗蒸馏与IBP上界，通过在logit空间中蒸馏对抗信息，提供有效的下界替代，从而改善认证训练的效果。

技术框架：整体架构包括三个主要模块：首先是对抗蒸馏模块，从经验鲁棒教师中提取对抗信息；其次是IBP上界计算模块，用于优化认证训练目标；最后是模型训练模块，结合上述两个模块进行模型的优化与训练。

关键创新：最重要的技术创新在于将对抗蒸馏与IBP上界结合，形成AD-CERT训练目标。这一方法在理论上提供了更好的下界，从而在认证性能上超越了传统的认证训练方法。

关键设计：在损失函数设计上，AD-CERT引入了对抗蒸馏损失与IBP上界损失的结合，确保模型在对抗扰动下的鲁棒性。同时，网络结构上采用了适应性调整，以便更好地捕捉对抗特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，AD-CERT在多个鲁棒性基准上达到了最先进的认证性能，相较于传统方法提升了多达5.40个百分点，展现了其在认证训练中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括安全关键的深度学习系统，如自动驾驶、金融欺诈检测和医疗影像分析等。通过提升模型的认证鲁棒性，能够增强系统在面对对抗攻击时的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Certified training aims to produce models whose predictions can be formally verified against adversarial perturbations, typically by optimising upper bounds on the worst-case loss over an allowed perturbation set. For neural networks, certified training methods based purely on tight relaxation bounds produce networks that are amenable to certification, but sacrifice standard accuracy. Conversely, adversarial training often yields stronger empirical robustness and standard accuracy, but the resulting models are generally difficult to certify with neural network verifiers. Recently, the literature has shown that better standard-certified accuracy trade-offs can be achieved by combining adversarial training objectives with loose over-approximations based on Interval Bound Propagation (IBP), effectively interpolating between lower and upper bounds of the worst-case loss. Building on this, we introduce AD-CERT, a certified training objective that combines adversarial distillation with an IBP upper bound. We show that distilling adversarial information over the logit space from an empirically robust teacher provides an effective lower bound surrogate for certified training, with AD-CERT achieving state-of-the-art certified performance on several robustness benchmarks. Furthermore, in a unified setup, distilling adversarial information at the logit-level is shown to improve certified accuracy over a robust feature-space distillation objective by up to 5.40 percentage points.