Benchmarking Multimodal Large Language Models for Face Recognition

📄 arXiv: 2510.14866v1 📥 PDF

作者: Hatef Otroshi Shahreza, Sébastien Marcel

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-10-16

💡 一句话要点

系统性评测多模态大语言模型在人脸识别任务上的性能表现。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 人脸识别 基准测试 零样本学习 计算机视觉

📋 核心要点

  1. 现有方法缺乏对开源多模态大语言模型在人脸识别任务上的系统性评估。
  2. 本文通过基准测试，探索MLLM在人脸识别中的潜力，并分析其优缺点。
  3. 实验表明MLLM能捕捉语义信息，但在高精度人脸识别中性能不如专用模型。

📝 摘要（中文）

多模态大语言模型(MLLM)在各种视觉-语言任务中取得了显著的性能。然而，它们在人脸识别方面的潜力仍未被充分探索。特别是，需要评估开源MLLM的性能，并将其与具有类似协议的标准基准上现有的面部识别模型进行比较。本文对最先进的MLLM在多个人脸识别数据集（包括LFW、CALFW、CPLFW、CFP、AgeDB和RFW）上进行了系统的人脸识别基准测试。实验结果表明，虽然MLLM捕获了对人脸相关任务有用的丰富语义线索，但在零样本应用的高精度识别场景中，它们落后于专用模型。该基准为推进基于MLLM的人脸识别奠定了基础，为设计具有更高精度和泛化能力的下一代模型提供了见解。我们的基准测试的源代码已在项目页面中公开。

🔬 方法详解

问题定义：论文旨在评估多模态大语言模型（MLLMs）在人脸识别任务中的表现。现有的人脸识别研究主要集中在专门设计的模型上，而忽略了MLLMs的潜力。此外，缺乏针对MLLMs在人脸识别领域进行系统性评估的基准测试，这使得难以了解它们的优势和局限性。

核心思路：论文的核心思路是建立一个基准测试，用于评估现有最先进的MLLMs在标准人脸识别数据集上的性能。通过将MLLMs的性能与专门的人脸识别模型进行比较，可以确定MLLMs在人脸识别任务中的优势和劣势，并为未来的研究方向提供指导。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择一系列具有代表性的人脸识别数据集，如LFW、CALFW、CPLFW等；2) 选择当前最先进的MLLMs作为评估对象；3) 设计实验方案，包括零样本设置等；4) 使用选定的数据集和MLLMs进行实验，并记录实验结果；5) 分析实验结果，比较不同MLLMs的性能，并与专门的人脸识别模型进行比较。

关键创新：该研究的关键创新在于首次对一系列最先进的MLLMs在人脸识别任务上进行了系统性的基准测试。这为研究人员提供了一个了解MLLMs在人脸识别领域能力的平台，并为未来的研究方向提供了指导。此外，该研究还揭示了MLLMs在捕捉人脸相关语义信息方面的潜力，以及在高精度识别方面的局限性。

关键设计：实验采用零样本设置，即MLLMs没有在特定的人脸识别数据集上进行训练。评估指标主要包括识别准确率等。研究中没有涉及对MLLM结构或训练方式的修改，而是直接使用预训练的MLLMs进行评估。

📊 实验亮点

实验结果表明，MLLMs能够捕捉到人脸相关的语义信息，但在高精度人脸识别任务中，其性能仍然落后于专门设计的模型。例如，在LFW数据集上，MLLMs的识别准确率与最先进的人脸识别模型相比仍有差距。该基准测试为未来改进MLLM在人脸识别方面的性能提供了重要的参考。

🎯 应用场景

该研究的潜在应用领域包括安全监控、身份验证、社交媒体分析等。通过提升MLLM在人脸识别方面的性能，可以实现更智能、更高效的人脸识别系统。未来的影响在于推动多模态人工智能的发展，将视觉和语言信息融合，实现更强大的智能应用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved remarkable performance across diverse vision-and-language tasks. However, their potential in face recognition remains underexplored. In particular, the performance of open-source MLLMs needs to be evaluated and compared with existing face recognition models on standard benchmarks with similar protocol. In this work, we present a systematic benchmark of state-of-the-art MLLMs for face recognition on several face recognition datasets, including LFW, CALFW, CPLFW, CFP, AgeDB and RFW. Experimental results reveal that while MLLMs capture rich semantic cues useful for face-related tasks, they lag behind specialized models in high-precision recognition scenarios in zero-shot applications. This benchmark provides a foundation for advancing MLLM-based face recognition, offering insights for the design of next-generation models with higher accuracy and generalization. The source code of our benchmark is publicly available in the project page.