LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

📄 arXiv: 2608.09633v1 📥 PDF

作者: Peter Lorenz, Anjith George, Marcel Sébastien

分类: cs.CV, cs.LG

发布日期: 2026-08-10

备注: accepted at ECCV 2026 Workshop on Foundation and Generative Models in Biometrics

💡 一句话要点

评估基础模型在面部呈现攻击检测中的局限性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面部识别 攻击检测 基础模型 低秩适应 跨数据集评估 深度学习 计算机视觉

📋 核心要点

  1. 现有的面部呈现攻击检测方法在跨数据集评估中表现不佳，受限于传感器和光照条件的变化。
  2. 本研究系统评估了32个基础模型，探讨了LoRA适应策略在PAD中的有效性与局限性。
  3. 实验结果显示，LoRA在数据集内的表现优异，但在跨数据集的泛化能力上存在显著不足。

📝 摘要（中文）

面部呈现攻击检测（PAD）旨在可靠地检测各种呈现攻击。尽管PAD方法在单一数据集上表现出色，但在跨数据集评估中性能显著下降。传感器或光照条件的变化可能导致检测器的有效性从近乎完美降至几乎随机。基础模型（FMs）作为一种有前景的替代方案，因其在网络预训练中使用的规模远超典型PAD数据集（如MCIO基准）。然而，现有PAD系统主要集中于基于CLIP的基础模型，忽视了其他具有不同架构和训练过程的基础模型。本研究通过系统评估32个基础模型来解决这一问题。零样本提示在模型家族和规模之间的表现接近随机，而低秩适应（LoRA）在大多数情况下实现了低于2%的数据集内ACER，但跨数据集ACER显著更高，表明预训练表示和适应数据集在跨数据集泛化中起着更大作用。

🔬 方法详解

问题定义：本论文旨在解决基础模型在面部呈现攻击检测中的局限性，尤其是在跨数据集评估时性能显著下降的问题。现有方法主要集中于特定数据集，未能有效应对不同传感器和光照条件下的挑战。

核心思路：论文的核心思路是系统评估多种基础模型，特别是探讨LoRA适应策略的有效性。通过对32个基础模型的比较，研究其在不同数据集上的表现，旨在揭示预训练表示和适应数据集对泛化能力的影响。

技术框架：研究采用了零样本提示和低秩适应（LoRA）技术，构建了一个评估框架，涵盖了模型选择、训练和测试阶段。通过对比不同模型的ACER（平均错误率）指标，分析其在数据集内外的表现差异。

关键创新：本研究的关键创新在于系统性地评估了32个不同架构的基础模型，并揭示了LoRA在数据集内的有效性与跨数据集泛化能力的不足。这一发现挑战了现有对LoRA适应策略的普遍看法。

关键设计：在实验中，LoRA策略仅使用了不到1%的可训练权重，导致在数据集内实现了低于2%的ACER，但在跨数据集评估中表现显著下降，表明预训练表示和适应数据集的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用LoRA适应策略时，数据集内的ACER低于2%，但跨数据集的ACER显著更高，显示出基础模型在不同数据集间的泛化能力不足。这一发现为PAD领域提供了新的研究方向。

🎯 应用场景

该研究在面部识别安全、金融交易验证和身份认证等领域具有重要应用潜力。通过提高面部呈现攻击检测的鲁棒性，可以有效防止欺诈行为，增强系统的安全性。此外，研究结果为未来基础模型在其他视觉任务中的应用提供了参考。

📄 摘要（原文）

Face presentation attack detection (PAD) aims to reliably detect a wide range of presentation attacks. While PAD methods achieve strong performance within individual datasets, their performance degrades under cross-dataset evaluation. Variations in sensors or lighting conditions can reduce the effectiveness of detectors from near-perfect to nearly random. Foundation models (FMs) have emerged as a promising alternative because typical PAD datasets, such as the MCIO benchmarks (MSU-MFSD, CASIA-FASD, Replay-Attack, and OULU-NPU), are small relative to the scale used for web-based pretraining. However, existing PAD systems primarily focus on CLIP-based foundation models, while overlooking other FMs with different architectures and training procedures. This study addresses this question by systematically evaluating 32 FMs. Zero-shot prompting achieves performance near chance across model families and scales. The vision encoders, when low-rankadapted (LoRA) with fewer than 1% trainable weights, achieve below 2% intra-dataset ACER in most cases, while cross-dataset ACER is substantially higher. LoRA primarily refines the decision boundary within a dataset, suggesting that pretrained representations and the adaptation dataset play a larger role in cross-dataset generalization than the evaluated lightweight adaptation strategy.