MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection
作者: Yanqiu Li, Yang Xiao, Jisheng Bai, Bin Chen, Hong Jia, Ting Dang
分类: cs.SD, cs.AI
发布日期: 2026-08-10
备注: 11 pages, 1 figure
💡 一句话要点
提出MADBench以解决音频深伪检测中的模态区分问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 音频深伪检测 模态感知 环境音频 语音合成 检测器基准
📋 核心要点
- 现有方法往往将语音和背景音频混为一谈，忽视了二者在生成机制和检测挑战上的显著差异。
- 本文提出MADBench基准，将语音和环境音频作为独立组件进行评估，支持组件感知的音频深伪检测研究。
- 实验结果显示，环境音频操控的可检测性高于合成语音，现有检测器在两者上均表现不佳，揭示了新的研究方向。
📝 摘要（中文）
近年来，语音合成和音频生成的进步使得高保真音频伪造变得低成本且难以归属，形成了一种现实的攻击场景。在这种场景中，语音和背景音频被独立操控，而视频则保持真实。然而，现有研究往往集中于视觉操控，或孤立地处理语音检测，忽视了背景音频带来的独特取证挑战。为此，本文提出了MADBench，这是第一个将语音和环境音频视为独立声学组件的基准，支持对音频深伪检测的组件感知评估。实验表明，环境音频操控的可检测性高于合成语音，而现有的预训练检测器在这两个声学组件上均表现不佳，且操控的环境音频会不对称地降低语音深伪检测的效果，这些发现是以往基准中未能揭示的。MADBench为未来的音频深伪检测研究奠定了严谨的基础。
🔬 方法详解
问题定义：本文旨在解决音频深伪检测中对语音和背景音频的模态混淆问题。现有方法未能有效区分这两种声学组件，导致检测性能下降。
核心思路：提出MADBench基准，将语音和环境音频视为独立的声学组件，允许对音频深伪检测进行更细致的评估。通过这种方式，能够更好地理解和应对不同声学组件的检测挑战。
技术框架：MADBench的整体架构包括数据集构建、评估协议和检测器基准测试三个主要模块。数据集包含独立操控的语音和环境音频，评估协议统一了各检测器的测试标准。
关键创新：MADBench的最大创新在于首次将语音和环境音频分开评估，揭示了二者在检测中的不同表现。这一方法与以往的单标签基准有本质区别，能够更全面地反映检测器的性能。
关键设计：在实验中，采用了多种主流检测器，并设计了统一的评估协议。损失函数和网络结构的选择经过精心调整，以确保对不同声学组件的敏感性。具体参数设置和网络架构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，环境音频操控的可检测性显著高于合成语音，且现有预训练检测器在这两种声学组件上的表现均不理想。具体而言，环境音频的操控在一般编码器下的检测率高于合成语音，揭示了新的检测挑战和研究方向。
🎯 应用场景
该研究的潜在应用领域包括网络安全、虚假信息检测和音频取证等。通过提高音频深伪检测的准确性，MADBench能够帮助开发更为可靠的检测工具，保护用户免受音频伪造带来的风险。未来，该基准还可能推动相关领域的进一步研究与技术进步。
📄 摘要（原文）
Recent advances in speech synthesis and audio generation have made high-fidelity acoustic forgery low-cost and difficult to attribute, enabling a realistic attack scenario in which speech and background audio are independently manipulated over otherwise authentic video. Yet existing research either focuses on visual manipulation, addresses speech detection in isolation, or conflates speech and non-speech audio as a single undifferentiated audio stream, overlooking the distinct forensic challenges posed by background audio. This conflation is consequential: the two acoustic components arise from fundamentally different generative mechanisms, exhibit distinct artifact profiles, and pose different challenges to detection systems. We introduce MADBench, the first benchmark that treats speech and environmental audio as distinct acoustic components, enabling component-aware evaluation of audio deepfake detection across independently manipulated forgery sources. We benchmark representative state-of-the-art detectors and multimodal large language models under a unified protocol. Our experiments reveal that environmental audio manipulation is more detectable than synthetic speech across general-purpose encoders, while existing pretrained detectors fail on both acoustic components, and manipulated environmental audio asymmetrically degrades speech deepfake detection, findings entirely invisible under the single-label paradigm of prior benchmarks. MADBench establishes a rigorous foundation for future research into robust, component-aware audio deepfake detection.