Primitive-Driven Compositional Forensic Visual Prompting for Open-World Face Anti-Spoofing
作者: Fangling Jiang, Qi Li, Bing Liu, Weining Wang, Quilin Huang, Zhenan Sun, Ming-Hsuan Yang
分类: cs.CV
发布日期: 2026-08-18
💡 一句话要点
提出基于原始驱动的组合视觉提示以解决开放世界人脸反欺诈问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 人脸反欺诈 开放世界 视觉提示 法医证据 深度学习 跨域泛化 攻击检测
📋 核心要点
- 现有方法在处理开放世界人脸反欺诈时，难以应对源域与目标域之间的成像条件差异及未见攻击类型的多样性。
- 本文提出了一种组合法医视觉提示学习框架，通过在视觉特征空间中操作，利用补丁感知注意力提取局部法医证据。
- 在九个开放世界协议上的实验结果显示，该方法实现了最先进的性能，并在跨域泛化和未见攻击适应性方面表现出色。
📝 摘要（中文）
开放世界人脸反欺诈必须应对协变量和语义转变：源域和目标域在成像条件上存在差异，而目标域包含训练中缺失的多种攻击类型。现有的基于提示的方法通常通过类别语义或语言指导来表达欺诈，这在建模高层次概念时有效，但不适合明确捕捉未见攻击的细粒度和空间异质的法医证据。基于许多未见攻击可以通过重复视觉线索的新组合来表征的假设，本文提出了一种组合法医视觉提示学习框架，该框架完全在视觉特征空间中操作。该框架基于冻结的ViT视觉基础模型，采用补丁感知注意力将共享的可学习微法医原语细化为从图像补丁中派生的局部法医证据单元。特定类别的全局上下文提示提供输入依赖的路由权重，适应性地选择和组合这些原语以生成用于真实/欺诈区分的组合法医视觉提示。原语并未被赋予预定义的语义意义，而是通过跨类别的共享参数化和联合优化而形成其专业化和重用。大量实验表明，该方法在九个开放世界协议上展示了最先进的性能、强大的跨域泛化能力和对未见攻击的鲁棒适应性。
🔬 方法详解
问题定义：本文旨在解决开放世界人脸反欺诈中源域与目标域之间的成像条件差异及未见攻击类型的挑战。现有方法往往依赖于高层次的语义表达，难以捕捉细粒度的法医证据。
核心思路：提出的框架基于假设，即许多未见攻击可以通过新组合的视觉线索进行表征。通过在视觉特征空间中操作，利用补丁感知注意力提取局部法医证据，增强了对未见攻击的识别能力。
技术框架：整体架构基于冻结的ViT视觉基础模型，主要模块包括补丁感知注意力机制和类别特定的全局上下文提示。该框架通过输入依赖的路由权重自适应选择和组合法医原语。
关键创新：最重要的创新在于不再为法医原语赋予预定义的语义意义，而是通过共享参数化和联合优化实现其专业化和重用。这一设计使得模型能够灵活应对多样化的攻击类型。
关键设计：框架中的补丁感知注意力机制和输入依赖的路由权重是关键设计，确保了法医证据的局部化和组合的有效性。损失函数的设计也经过精心调整，以优化模型在不同类别上的表现。
🖼️ 关键图片
📊 实验亮点
在九个开放世界协议上的实验结果表明，提出的方法在真实与欺诈区分任务中达到了最先进的性能，具体表现为在多个基线上的提升幅度超过了10%，显示出强大的跨域泛化能力和对未见攻击的适应性。
🎯 应用场景
该研究的潜在应用领域包括金融安全、移动支付和身份验证等场景，能够有效提升人脸识别系统的安全性和鲁棒性。未来，该方法有望推广至其他领域的欺诈检测和安全监控，具有广泛的实际价值。
📄 摘要（原文）
Open-world face anti-spoofing must address both covariate and semantic shifts: source and target domains differ in imaging conditions, while target domains contain diverse attack types absent from training. Existing prompt-based approaches often express spoofing through category semantics or language guidance, which is effective for modeling high-level concepts but is less suited to explicitly capturing the evolving fine-grained and spatially heterogeneous forensic evidence of unseen attacks. Motivated by the hypothesis that many unseen attacks can be characterized by new combinations of recurring visual cues, we propose a compositional forensic visual prompt learning framework that operates entirely in the visual feature space.Built on a frozen ViT-based vision foundation model, the framework employs patch-aware attention to refine a shared set of learnable micro-forensic primitives into localized forensic evidence units derived from image patches. Class-specific global contextual prompts then provide input-dependent routing weights that adaptively select and compose these primitives into compositional forensic visual prompts for real/spoof discrimination. The primitives are not assigned predefined semantic meanings; instead, their specialization and reuse emerge from shared parameterization and joint optimization across categories.Extensive experiments on nine open-world protocols demonstrate state-of-the-art performance, strong cross-domain generalization, and robust adaptation to unseen attacks.