GBU-Palm: A Multimodal Video Dataset and Benchmark for Palm Presentation Attack Detection

📄 arXiv: 2608.14389v1 📥 PDF

作者: Yingjie Ma, Zitong Yu, Wei Jia, Ajay Kumar, Linlin Shen

分类: cs.CV, cs.AI

发布日期: 2026-08-14

💡 一句话要点

提出GBU-Palm以解决现有掌纹攻击检测数据集不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 掌纹识别 展示攻击检测 多模态视频 数据集 环境适应性 模型评估

📋 核心要点

  1. 现有掌纹展示攻击检测方法受限于静态图像和采集条件，缺乏足够的多模态视频数据，影响评估效果。
  2. GBU-Palm数据集包含21,326个视频，涵盖多种环境和攻击类型，提供了丰富的多模态数据用于研究。
  3. 实验结果表明，环境变化对模型性能影响显著，RGB-NIR融合效果不如预期，揭示了模型的失败模式。

📝 摘要（中文）

现有的掌纹展示攻击检测（PAD）数据集常因静态图像、受限的采集条件或不足的多模态视频数据而受到限制，影响了在不同环境、模态和攻击类型下的系统评估。我们提出了GBU-Palm，这是一个大规模的多模态视频数据集和基准，包含来自105个受试者和210个掌纹的21,326个视频，涵盖六种采集环境，包括真实、打印和重放展示，且有6,310个同步的RGB-NIR样本。我们构建了泄漏控制协议，分离掌纹身份和攻击来源，并在环境匹配和保留环境设置下基准测试了四种代表性的视频架构。结果显示，在环境变化下，架构依赖性降级显著，且RGB-NIR融合并不总是优于仅RGB输入。我们进一步通过真实接受（TA）、真实拒绝（TR）、错误接受（FA）和错误拒绝（FR）分解、光谱掩蔽、时间顺序干预和冻结骨干NIR探测分析模型行为，揭示了不同的失败模式和证据利用。GBU-Palm为开发和评估鲁棒的多模态掌纹PAD方法提供了统一且具有挑战性的基准。

🔬 方法详解

问题定义：本论文旨在解决现有掌纹展示攻击检测（PAD）数据集在多模态视频数据和环境适应性方面的不足，现有方法往往无法有效评估不同环境和攻击类型下的性能。

核心思路：我们提出GBU-Palm数据集，包含丰富的多模态视频数据，构建了泄漏控制协议，以分离掌纹身份和攻击来源，从而提供更全面的评估基准。

技术框架：GBU-Palm数据集由21,326个视频组成，涵盖六种采集环境，包含RGB和NIR数据。我们在环境匹配和保留环境设置下对四种视频架构进行基准测试。

关键创新：GBU-Palm是首个大规模多模态视频数据集，提供了丰富的同步RGB-NIR样本，能够有效评估掌纹PAD方法在不同环境下的表现。

关键设计：我们设计了泄漏控制协议，确保掌纹身份与攻击来源的分离，并采用了多种模型评估指标，如真实接受率、真实拒绝率等，以全面分析模型性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，在环境变化下，模型性能显著下降，尤其是RGB-NIR融合未能持续优于RGB输入。通过对四种视频架构的评估，揭示了不同架构在处理环境变化时的失败模式，为后续研究提供了重要参考。

🎯 应用场景

该研究的潜在应用领域包括金融安全、移动设备解锁和生物识别系统等，能够有效提升掌纹识别技术的安全性和鲁棒性。未来，GBU-Palm数据集将为研究者提供重要的基准，推动掌纹PAD技术的发展和应用。

📄 摘要（原文）

Existing palm presentation attack detection (PAD) datasets are often limited by static imagery, restricted acquisition conditions, or insufficient multimodal video data, hindering systematic evaluation across environments, modalities, and attack types. We present GBU-Palm, a large-scale multimodal video dataset and benchmark containing 21,326 videos from 105 subjects and 210 palms across six acquisition environments, including bona fide, Print, and Replay presentations, with 6,310 synchronized RGB-NIR samples. We construct leakage-controlled protocols that separate palm identity and attack lineage and benchmark four representative video architectures under environment-matched and held-out-environment settings. Results reveal substantial architecture-dependent degradation under environmental shift and show that RGB-NIR fusion does not consistently outperform RGB-only input. We further analyze model behavior through true accept (TA), true reject (TR), false accept (FA), and false reject (FR) decomposition, spectral masking, temporal-order intervention, and frozen-backbone NIR probing, revealing distinct failure patterns and evidence utilization across architectures. GBU-Palm provides a unified and challenging benchmark for developing and evaluating robust multimodal palm PAD methods under cross-environment conditions.