Reinforcement Learning Disrupts Gradient-Based Adversarial Optimization
作者: Xinhai Zou, Chang Zhao, Alireza Aghabagherloo, Dave Singelée, Robin Degraeve, Bart Preneel
分类: cs.LG, cs.AI, cs.CR
发布日期: 2026-06-10
💡 一句话要点
提出强化学习以干扰基于梯度的对抗优化
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 对抗攻击 深度学习 强化学习 鲁棒性 图像分类 对抗训练
📋 核心要点
- 基于梯度的对抗攻击利用梯度信息优化对抗扰动，依然是深度学习模型的主要威胁。
- 本文提出通过强化学习训练图像分类器，干扰攻击者的梯度结构，增强模型的对抗鲁棒性。
- 实验结果表明，RL训练的分类器在多种攻击类型下表现出显著的鲁棒性提升，超越传统的对抗训练方法。
📝 摘要（中文）
基于梯度的对抗攻击仍然是深度神经网络（DNNs）面临的主要威胁，因为它们利用梯度信息高效优化对抗扰动。为了解决这一问题，本文研究了强化学习（RL）训练是否能够通过使用策略梯度目标和ε-贪婪探索来干扰攻击者使用的梯度结构。通过在CIFAR-10、CIFAR-100和ImageNet-100上进行系统实验，发现RL训练的分类器显著干扰了基于梯度的对抗优化。机制分析表明，RL作为隐式正则化器，产生了具有高度不稳定梯度方向和较小梯度幅度的模型。这种组合使得每个PGD步骤在方向上不可靠且幅度有限，从而导致基于梯度的攻击在实际迭代预算内失败。结合RL与对抗训练的RL-adv方法在所有主要攻击类型中实现了最高的鲁棒性，显著优于SL-adv。
🔬 方法详解
问题定义：本论文旨在解决基于梯度的对抗攻击对深度神经网络的威胁，现有方法在抵御此类攻击时存在效率低下和鲁棒性不足的问题。
核心思路：通过强化学习训练图像分类器，利用策略梯度目标和ε-贪婪探索来干扰攻击者的梯度信息，从而提高模型的对抗鲁棒性。
技术框架：整体架构包括两个主要模块：RL训练模块和对抗训练模块。RL模块通过策略梯度优化分类器，生成不稳定的梯度方向；对抗训练模块则强化决策边界。
关键创新：最重要的创新在于识别出RL引起的梯度干扰作为一种补充的鲁棒性机制，与传统的对抗训练方法形成互补。
关键设计：在训练过程中，采用动态梯度指标和损失景观可视化来分析模型的梯度特性，设置适当的超参数以确保模型在训练过程中保持不稳定的梯度方向和较小的梯度幅度。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RL-adv方法在所有主要攻击类型下表现出最高的鲁棒性，包括PGD、AutoAttack等，显著优于传统的SL-adv方法，提升幅度达到XX%。这一发现表明，RL-induced梯度干扰是有效的鲁棒性机制。
🎯 应用场景
该研究的潜在应用领域包括图像分类、自动驾驶和安全性要求高的深度学习系统。通过增强模型的对抗鲁棒性，可以有效降低深度学习模型在实际应用中的脆弱性，提升其安全性和可靠性。未来，结合强化学习与监督学习的混合训练策略可能会进一步推动该领域的发展。
📄 摘要（原文）
Gradient-based adversarial attacks remain a dominant threat to deep neural networks (DNNs), as they exploit gradient information to efficiently optimize adversarial perturbations. To address this, we investigate whether reinforcement learning (RL) training can disrupt the gradient structure used by attackers by training image classifiers with policy-gradient objectives and epsilon-greedy exploration. Through systematic experiments across CIFAR-10, CIFAR-100, and ImageNet-100 with multiple architectures, we find that RL-trained classifiers significantly disrupt gradient-based adversarial optimization. To explain this, we conduct a comprehensive mechanism analysis using loss landscape visualization, static and dynamic gradient indicators, and predictive entropy. Our analysis reveals that RL acts as an implicit regularizer, producing models with highly unstable gradient directions and smaller gradient magnitudes. This combination makes each PGD step both unreliable in direction and limited in magnitude, causing gradient-based attacks to fail within practical iteration budgets. We further show that combining RL with adversarial training (RL-adv) provides a dual-layer defense operating at two complementary levels: RL degrades gradient information available to attackers (gradient-level defense), while adversarial training strengthens decision boundaries (boundary-level defense). RL-adv achieves the highest robustness across all major attack types evaluated, including gradient-based (PGD, AutoAttack), transfer-based, and query-based attacks, outperforming SL-adv by a significant margin. These findings identify RL-induced gradient disruption as a complementary robustness mechanism and motivate future research on hybrid SL-RL training schedules that combine SL's efficiency with RL's gradient-regularization properties.