MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

📄 arXiv: 2608.17328v1 📥 PDF

作者: Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

分类: cs.CV

发布日期: 2026-08-18

💡 一句话要点

提出多模态大语言模型以解决面部反欺诈检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面部识别 反欺诈检测 多模态大语言模型 可解释性 鲁棒性 语义标注 生成式AI

📋 核心要点

  1. 现有面部反欺诈检测方法面临泛化能力差和依赖低质量数据等挑战。
  2. 本文提出的MFAD通过细粒度像素语义锚定机制，激活多模态大语言模型的推理能力，解决了现有方法的不足。
  3. 实验结果显示，系统在领域内ACER降低40-50%，并在白盒对抗攻击下仅下降3.2%，验证了其鲁棒性。

📝 摘要（中文）

面部生物识别系统面临着生成式AI和高保真物理欺诈的复合威胁。现有防御方法存在系统性瓶颈，如泛化能力差、推理不可审计以及依赖大量低质量数据。为应对这些挑战，本文提出了多模态大语言模型（MFAD）用于面部反欺诈检测，构建了统一面部反欺诈检测（UFAD）的可解释推理系统，并附带语义级标注基准。MFAD通过细粒度的像素语义锚定机制激活多模态大语言模型的内在推理能力，消除了定位幻觉，确保了可审计的推理路径。实验结果表明，使用有限的高质量样本，系统在领域内的ACER相对降低了40-50%。

🔬 方法详解

问题定义：本文旨在解决面部生物识别系统在面对生成式AI和高保真物理欺诈时的反欺诈检测问题。现有方法存在泛化能力不足、推理过程不可审计以及对低质量数据的依赖等痛点。

核心思路：论文提出的MFAD通过细粒度的像素语义锚定机制，激活多模态大语言模型的内在推理能力，避免了传统方法中的定位幻觉，确保推理路径的可审计性。

技术框架：MFAD的整体架构包括数据预处理、语义标注、模型训练和推理四个主要模块。通过对每个攻击类别仅标注1000个精确掩码，生成与欺诈区域严格对应的推理证据链。

关键创新：最重要的创新点在于引入了跨攻击语义级统一标注范式，显著提高了推理的可靠性和可解释性。这一方法与依赖外部工具或粗略对齐的传统方法本质上不同。

关键设计：在模型训练中，采用了Qwen-VL基础模型进行监督微调，使用高质量样本进行训练，确保了模型的高效性和鲁棒性。实验中，推理路径的证据可靠性评分为4.57/5，满足实时部署需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MFAD在领域内的ACER相对降低40-50%，并在跨域性能下降控制在11.62%/5.23%以内，显示出显著的性能提升。在白盒对抗攻击下，检测准确率仅下降3.2%，验证了其鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括金融安全、身份验证和智能监控等，能够有效提升面部识别系统的安全性和可靠性。随着生成式AI技术的发展，MFAD的可解释性和鲁棒性将对实际应用产生深远影响，推动面部生物识别技术的进步。

📄 摘要（原文）

Facial biometric recognition systems currently face compound threats intertwining generative AI and high-fidelity physical spoofing. Existing defenses suffer from systemic bottlenecks, including poor generalization, non-auditable reasoning, and reliance on massive, low-quality datasets. To address these challenges, we propose Multimodal Large Language Models (MFAD) for face anti-spoofing detection, an explainable reasoning system for Unified Face Anti-Spoofing Detection (UFAD), accompanied by a semantic-level annotation benchmark. Unlike methods relying on external tools or coarse alignment, MFAD activates the intrinsic reasoning capabilities of Multimodal Large Language Models (MLLMs) via a fine-grained pixel-semantic anchoring mechanism. This eliminates localization hallucinations and ensures auditable reasoning paths. We introduce a cross-attack semantic-level unified annotation paradigm: by annotating only 1,000 precise masks per attack category, we generate reasoning evidence chains strictly corresponding to spoofed regions. Supervised fine-tuning on the Qwen-VL foundation model demonstrates that, using limited high-quality samples, the system achieves a 40-50% relative reduction in in-domain ACER and restricts cross-domain performance degradation to within 11.62%/5.23%, significantly outperforming existing frameworks. Furthermore, under white-box adversarial attacks, detection accuracy drops by only 3.2%, validating the robustness of semantic anchoring compared to models trained on massive short-text data. Domain practitioners rated the evidence reliability of reasoning paths at 4.57/5, with inference latency satisfying real-time deployment requirements. These results confirm that a few-shot, high-quality semantic annotation paradigm is effective for building trustworthy, explainable, and cost-efficient UFAD systems.