Supervised Post-training of Speech Foundation Models for Robust Adaptation in Speech Deepfake Detection

📄 arXiv: 2606.25328v1 📥 PDF

作者: Zihan Pan, Sailor Hardik, Jinyang Wu

分类: cs.SD, cs.AI

发布日期: 2026-06-24

💡 一句话要点

提出混帧后训练策略以增强语音深伪检测的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音深伪检测 后训练 自监督学习 鲁棒性 混帧策略 局部不一致性 ASVspoof

📋 核心要点

  1. 现有方法在语音深伪检测中面临自监督预训练目标与伪造特征不匹配的挑战，导致微调效果有限。
  2. 本文提出混帧后训练策略，通过局部伪造导向扰动和帧级监督，增强模型对局部不一致性的学习能力。
  3. 在ASVspoof5上实现4.50%的EER，在ASVspoof2021 LA/DF上仅有0.16%的EER差距，显示出显著的鲁棒性提升。

📝 摘要（中文）

大型语音基础模型在语音深伪检测中展现出强大的潜力，但直接微调受到自监督预训练目标与伪造特征不匹配的限制。为此，本文提出了一种混帧后训练策略，通过创建局部伪造导向的扰动，并利用帧级监督来促使自监督学习模型学习对鲁棒伪造检测至关重要的局部不一致性。在ASVspoof5数据集上，我们实现了4.50%的最优等错误率（EER），且在ASVspoof2021 LA/DF上，LA与DF之间的绝对EER差距仅为0.16%，显示出在不同失真条件下的强大和均衡鲁棒性。这些结果表明，监督后训练为适应语音基础模型以实现鲁棒的深伪检测提供了一种有效且实用的方法。

🔬 方法详解

问题定义：本文旨在解决现有语音深伪检测方法在自监督预训练目标与伪造特征之间的不匹配问题，导致直接微调效果不佳。

核心思路：提出混帧后训练策略，通过创建局部伪造导向的扰动，结合帧级监督，促使模型学习关键的局部不一致性，从而提高检测鲁棒性。

技术框架：整体流程包括预训练阶段、后训练阶段和评估阶段。在后训练阶段，模型接收混帧输入，并通过局部扰动进行训练，利用帧级标签进行监督。

关键创新：最重要的创新点在于混帧后训练策略的引入，能够有效地针对伪造特征进行优化，与传统的全局微调方法相比，具有更强的针对性和适应性。

关键设计：在训练过程中，采用特定的损失函数来平衡局部与全局特征的学习，同时设计了适应性扰动生成模块，以确保模型能够捕捉到伪造信号的细微变化。

🖼️ 关键图片

fig_0

📊 实验亮点

在ASVspoof5数据集上，本文方法实现了4.50%的最优EER，且在ASVspoof2021 LA/DF上，LA与DF之间的绝对EER差距仅为0.16%。这些结果显著优于现有基线，展示了混帧后训练策略在鲁棒性方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括语音识别系统、在线内容审核、社交媒体平台的虚假信息检测等。通过提高语音深伪检测的鲁棒性，可以有效防止语音伪造带来的安全隐患，提升用户信任度。未来，该方法有望推广至更广泛的语音处理任务中，推动相关技术的发展。

📄 摘要（原文）

Large speech foundation models have shown strong potential for speech deepfake detection, but direct fine-tuning is limited by a mismatch between self-supervised pre-training objectives and spoof-specific artifacts. To address this, we propose a mix-frame post-training strategy to create localized spoof-oriented perturbations and use frame-level supervision to encourage the SSL model to learn local inconsistencies that are critical for robust spoof detection. On ASVspoof5, we achieve state-of-the-art EER 4.50% for a single model without data augmentation. On ASVspoof2021 LA/DF, it further achieves only 0.16\% absolute EER gap between LA and DF, indicating strong and balanced robustness across distinct distortion conditions. These results show that supervised post-training provides an effective and practical way to adapt speech foundation models for robust deepfake detection.