XAI-Grounded Explanation Generation for Speech Deepfake Detection with Training-Free Multimodal Large Language Models

📄 arXiv: 2606.16137v1 📥 PDF

作者: Yupei Li, Qiyang Sun, Xiaoliang Wu, Chenxi Wang, Berrak Sisman, Björn W. Schuller

分类: cs.CL, cs.AI

发布日期: 2026-06-15

备注: Accepted at Interspeech 2026

💡 一句话要点

提出无训练的多模态大语言模型生成语音深伪检测的可解释性解释

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音深伪检测 可解释人工智能 多模态学习 大型语言模型 XAI证据

📋 核心要点

  1. 现有的语音深伪检测解释方法存在低级归因信号难以理解和缺乏任务特定监督的问题。
  2. 本文提出了一种无训练的解释框架，结合XAI证据与多模态LLM生成有基础的具体解释。
  3. 实验结果显示，使用XAI的方法使得内部准确率提升超过45%，验证了方法的有效性。

📝 摘要（中文）

语音深伪检测系统需要可信的解释以支持可靠的决策。现有的解释方法主要分为两类：传统的可解释人工智能（XAI）方法如基于梯度的归因，产生的低级归因信号难以为人理解；而基于大型语言模型（LLM）的解释生成由于缺乏启发式证据和任务特定的监督，往往产生通用且缺乏基础的描述。为此，本文提出了一种无训练的解释框架，将XAI证据与多模态LLM结合，生成有基础且具体的解释。通过PartialSpoof数据集，我们构建了一个有基础的解释数据集，并表明使用XAI的方法使得内部准确率提升超过45%，通过人类评估和可信度检查进行了验证。

🔬 方法详解

问题定义：本文旨在解决语音深伪检测系统中缺乏可信解释的问题。现有方法的痛点在于传统XAI方法产生的低级归因信号难以理解，以及LLM生成的解释缺乏基础和特定性。

核心思路：本文的核心思路是提出一种无训练的解释框架，通过将XAI证据与多模态大型语言模型相结合，生成有基础且具体的解释。这种设计旨在提高解释的可理解性和可靠性。

技术框架：整体架构包括数据集构建、XAI证据提取和多模态LLM生成三个主要模块。首先构建有基础的解释数据集，然后提取XAI证据，最后利用多模态LLM生成最终的解释。

关键创新：最重要的技术创新点在于将XAI证据与多模态LLM结合，生成有基础的解释。这一方法与现有的单一使用XAI或LLM的方法本质上不同，能够提供更具可解释性的结果。

关键设计：在关键设计上，本文采用了特定的损失函数来优化生成的解释质量，并在网络结构上进行了调整，以适应多模态输入的处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，结合XAI的方法使得内部准确率提升超过45%。这一显著的提升通过人类评估和可信度检查得到了验证，显示出该方法在生成有基础解释方面的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括语音识别、虚假信息检测和安全监控等。通过提供可信的解释，能够增强用户对语音深伪检测系统的信任，促进其在实际场景中的应用和推广。未来，该方法可能推动更多领域的可解释AI研究，提升AI系统的透明度和可接受性。

📄 摘要（原文）

Speech deepfake detection (SDD) systems require trustworthy explanations for reliable decision-making. Existing explanation ways mainly fall into two categories. Traditional explainable AI (XAI), such as gradient-based attribution, produces low-level attribution signals tightly coupled with model decisions, and harder to be understood by human than natural language explanations. Meanwhile, large language model (LLM)-based explanation generation often produces generic and ungrounded descriptions due to the lack of heuristic evidence and task-specific supervision, stemming from limited grounded explanation datasets for SDD. We therefore propose a training-free explanation framework that integrates XAI evidence with multimodal LLMs to generate grounded and specific explanations. Using the PartialSpoof dataset, we construct a grounded explanation dataset and show that methods with XAI increase inside accuracy by over 45\%, verified through human evaluation and faithfulness checks.