LLM-based Multimodal Personality Recognition via Facial Action Unit-Text Semantic Fusion

📄 arXiv: 2606.29900v1 📥 PDF

作者: Tianyi Zhang, Wei Shan, Yuan Zong, Tianhua Qi, Wenming Zheng

分类: cs.CV, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出基于LLM的多模态个性识别方法以解决信息损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性识别 异步视频面试 多模态融合 面部动作单元 大型语言模型 心理评估 招聘技术

📋 核心要点

  1. 现有个性识别方法往往忽视面部线索，导致信息损失，影响评估准确性。
  2. 本文提出通过将面部动作单元与文本回应进行语义融合，利用LLM进行个性识别。
  3. 在AVI-6基准测试中，提出的方法在多个特征上表现出更低的预测误差和更强的相关性。

📝 摘要（中文）

在现代招聘中，异步视频面试（AVI）中的个性识别变得越来越重要。现有方法通常依赖大型语言模型（LLMs）分析面试者的文本回应，但单一模型方法常常导致信息损失，忽视面部线索。相比之下，采用全脸图像或稀疏采样帧的多模态方法可能会丢失对个性评估至关重要的细粒度时间动态。为克服这些局限性，本文提出了一种基于LLM的框架，通过语义融合面部动作单元（AUs）与AVI的文本回应。实验结果表明，该方法在AVI-6基准测试中相较于大多数基线方法具有更低的预测误差和更强的人类评分相关性，展示了AU-文本融合在个性识别中的有效性。

🔬 方法详解

问题定义：本文旨在解决异步视频面试中个性识别的准确性问题，现有方法常常忽视面部表情信息，导致信息损失。

核心思路：通过将面部动作单元（AUs）转换为可解释的文本描述，并与参与者的文本回应进行语义融合，利用LLM进行个性评分。

技术框架：整体架构包括三个主要模块：首先，将AU序列转换为文本描述；其次，使用LLM融合文本描述与参与者回应；最后，轻量级回归头将嵌入转换为连续个性评分。

关键创新：最重要的创新在于AU与文本的语义融合，提供了非语言线索，增强了个性识别的准确性和稳定性。

关键设计：设计中采用了轻量级回归头，确保在不干扰语义空间的情况下进行评分，同时优化了训练过程的稳定性和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的方法在AVI-6基准测试中相较于大多数基线方法实现了显著提升，预测误差降低，且与人类评分的相关性更强，展示了AU-文本融合的有效性。

🎯 应用场景

该研究在招聘、心理评估和人机交互等领域具有广泛的应用潜力。通过提高个性识别的准确性，能够帮助企业更好地评估候选人，提升招聘效率。此外，未来可能在教育和心理健康领域发挥重要作用。

📄 摘要（原文）

Personality recognition in asynchronous video interviews (AVIs) has become increasingly important due to their widespread adoption in modern recruitment. Existing approaches often rely on large language models (LLMs) to analyze textual responses of interviewees in AVI. However, unimodel methods often suffer from information loss (e.g., ignore facial cues). In contrast, multimodal methods that employ full-face images or sparsely sampled frames can discard fine-grained temporal dynamics critical for accurate personality assessment. To overcome these limitations, we propose an LLM-based framework that semantically fuse facial action units (AUs) with textual responses of AVI. AU sequences are first converted into interpretable textual descriptions, which are then fused with participants' textual responses through an LLM. A lightweight regression head transforms the resulting embeddings into continuous personality scores without disrupting the underlying semantic space. Experiments on the AVI-6 benchmark demonstrate consistent improvements over most baselines, with lower prediction errors and stronger correlations with human-rated scores across multiple traits. Further analysis reveals that AU-derived semantic representations offer complementary non-verbal cues to textual responses. Decoupling semantic understanding from regression prediction within the LLM also leads to greater training stability and clearer interpretability. Overall, these findings demonstrate that AU-text fusion provides a psychologically grounded and computationally efficient framework for personality recognition in AVIs.