The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks

📄 arXiv: 2606.22858v1 📥 PDF

作者: Sannaan Khan, Muhammad U. S. Khan

分类: cs.LG, cs.AI

发布日期: 2026-06-22

备注: Accepted at NeurIPS Workshops 2025

💡 一句话要点

提出目标身份重关联攻击以操控模型公平性和SHAP解释

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 算法公平性 可解释性 对抗性攻击 机器学习安全 模型透明性

📋 核心要点

  1. 现有方法在审计算法公平性和可解释性时容易受到操控，导致受保护特征的影响被掩盖。
  2. 论文提出目标身份重关联攻击（TIRA），通过迭代和概率性的方法操控模型输出，无需访问模型内部。
  3. 实验表明，TIRA攻击在推动公平性指标方面表现优异，并有效混淆SHAP解释，几乎不留残余归因。

📝 摘要（中文）

随着机器学习模型的影响力和不透明性增加，算法公平性和可解释性变得至关重要。然而，我们展示了这些审计机制本身也容易受到微妙的操控，从而掩盖受保护特征的影响。虽然之前的研究揭示了这一脆弱性，但留下的可检测伪影会损害其隐蔽性。我们引入了目标身份重关联（TIRA）攻击，这是一种新型攻击家族，能够迭代和概率性地操控模型输出，而无需访问模型内部或特征表示。我们形式化了两种算法：概率微洗牌（PMiS）和概率排名偏移微扰动（PRSMP），并实证证明TIRA攻击在推动公平性指标向理想值靠拢方面极为有效。重要的是，TIRA攻击成功混淆了基于SHAP的解释，几乎没有留下受保护特征的残余归因，显著优于之前的工作。

🔬 方法详解

问题定义：本论文旨在解决现有算法公平性和可解释性审计机制的脆弱性，现有方法在操控时容易留下可检测的伪影，影响隐蔽性。

核心思路：论文提出的TIRA攻击通过迭代和概率性的方法操控模型输出，避免了对模型内部结构的依赖，从而增强了攻击的隐蔽性和有效性。

技术框架：整体架构包括两个主要算法：概率微洗牌（PMiS）和概率排名偏移微扰动（PRSMP）。PMiS通过局部相邻交换来实现，而PRSMP则通过引入小的随机排名偏移来操控输出。

关键创新：TIRA攻击的最大创新在于其无需访问模型内部或特征表示，能够有效混淆SHAP解释，几乎消除受保护特征的归因，这在之前的研究中是未曾实现的。

关键设计：在算法设计中，PMiS和PRSMP的参数设置经过精心调整，以确保攻击的有效性和隐蔽性，具体的损失函数和随机化策略也被优化以提高攻击成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TIRA攻击在推动公平性指标方面表现显著，能够将公平性指标推向理想值。同时，TIRA攻击成功混淆SHAP解释，几乎没有留下受保护特征的残余归因，相较于之前的方法有了显著提升。

🎯 应用场景

该研究的潜在应用领域包括算法公平性审计、机器学习模型的安全性评估以及对抗性攻击的防御策略。通过揭示模型的脆弱性，研究能够帮助开发更为健壮和公平的机器学习系统，推动算法透明性和责任感的提升。

📄 摘要（原文）

As machine learning models grow more influential and opaque, algorithmic fairness and explainability are critical for ensuring accountability. However, we demonstrate that these auditing mechanisms are themselves vulnerable to subtle manipulation, camouflaging the influence of protected features. While prior work on data-agnostic attacks has exposed this vulnerability, they leave behind detectable artifacts that compromise their stealth. We introduce Targeted Identity Re-Association (TIRA) attacks, a novel family of attacks that iteratively and probabilistically manipulate a model's outputs without requiring access to the model's internals or feature representations. We formalize two algorithms: Probabilistic Micro-Shuffling (PMiS), which applies localized adjacent swaps, and Probabilistic Rank-Shift Micro-Perturbation (PRSMP), which introduces small, randomized rank shifts. We empirically demonstrate that TIRA attacks are highly effective at pushing fairness metrics towards ideal values. Crucially, TIRA attacks successfully confound SHAP-based explanations, leaving effectively zero residual attribution for protected features, a major improvement over prior work.