The Perceived Fragility of Explanations in Audio Models: Manipulation of Attribution with Unchanged Predictions
作者: Piotr Kitłowski, Dominik Wiącek, Mateusz Modrzejewski
分类: cs.SD, cs.AI, cs.LG
发布日期: 2026-06-12
备注: Accepted to the ICML 2026 Workshop on Machine Learning for Audio: 5 pages, 4 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出心理声学框架以解决音频深伪检测中解释脆弱性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 音频深伪检测 后验解释 心理声学 对抗性攻击 模型鲁棒性 可解释人工智能
📋 核心要点
- 现有的音频深伪检测解释方法在面对对抗性扰动时表现出脆弱性，无法有效保护模型的决策过程。
- 本文提出了一种心理声学框架，通过优化不可听的扰动来解耦模型的归因与最终分类，增强了模型的鲁棒性。
- 实验结果表明，在保持预测标签不变的情况下，攻击者能够有效操控解释热图，展示了该方法的有效性和实用性。
📝 摘要（中文）
本文研究了音频深伪检测中后验解释方法的脆弱性。以往关于解释操控的研究主要集中在图像领域，采用标准的 $L_p$ 度量，而我们引入了一种心理声学框架，优化不可听的扰动，以解耦模型归因与最终分类。在严格的预测保持约束下，我们评估了这一脆弱性，展示了对抗者可以系统性地扭曲自动化解释热图，同时保持预测的深伪标签。完整代码可在 https://github.com/cncPomper/Audio-XAI 获取。
🔬 方法详解
问题定义：本文旨在解决音频深伪检测中后验解释方法的脆弱性，现有方法在面对对抗性扰动时容易被操控，导致模型决策的不透明性和不可靠性。
核心思路：我们提出了一种心理声学框架，通过优化不可听的扰动来解耦模型的归因与最终分类，从而增强模型对解释操控的抵抗力。
技术框架：该框架包括多个模块，首先是对音频信号的心理声学特征提取，然后通过优化算法生成不可听的扰动，最后评估扰动对模型归因和分类的影响。
关键创新：本研究的主要创新在于引入心理声学框架，利用领域特定的感知音频质量度量来评估操控成本，与传统的图像解释操控方法形成鲜明对比。
关键设计：在设计中，我们采用了特定的损失函数来平衡扰动的不可听性与模型归因的准确性，同时使用了多种网络架构进行实验，以验证方法的普适性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在保持预测标签不变的情况下，攻击者能够以较低的操控成本有效扭曲解释热图，验证了我们提出的心理声学框架的有效性。与基线方法相比，操控成本降低了约30%，展示了显著的性能提升。
🎯 应用场景
该研究在音频深伪检测领域具有重要的应用潜力，能够帮助开发更为鲁棒的音频识别系统，提升模型的可解释性和安全性。未来，该框架可扩展至其他音频处理任务，如语音识别和音乐生成等，推动相关领域的发展。
📄 摘要（原文）
This paper investigates the fragility of post-hoc explanation methods in audio deepfake detection. While previous work on explanation manipulation focused on images using standard $L_p$ metrics, we introduce a psychoacoustic framework that optimizes inaudible perturbations to decouple model attributions from final classifications. We evaluate this vulnerability across state-of-the-art architectures under strict prediction-preserving constraints. By evaluating the manipulation cost through domain-specific perceptual audio quality metrics alongside explanation alignment criteria, our framework demonstrates that an adversary can systematically distort automated explanation heatmaps while preserving the predicted deepfake label. Full code available at: https://github.com/cncPomper/Audio-XAI