Frozen Multimodal Embeddings for Personality and Cognitive Ability Assessment in Asynchronous Video Interviews

📄 arXiv: 2606.11930v1 📥 PDF

作者: Kuo-En Hung, Hung-Yue Suen, Shih-Ching Yeh, Hsiang-Wen Wang

分类: cs.HC, cs.AI, cs.CV

发布日期: 2026-06-10

备注: 9 pages, 1 figure, 4 tables

💡 一句话要点

提出冻结多模态嵌入以评估视频面试中的个性与认知能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 个性评估 认知能力 视频面试 小样本学习 特征融合 心理特征预测

📋 核心要点

  1. 现有方法在非同步视频面试中预测心理特征面临数据集标注不足和高维信号处理的挑战。
  2. 论文提出使用冻结的多模态编码器进行小样本表示学习，避免对大型预训练模型进行微调。
  3. 实验结果表明，针对个性特征的模型在验证集上显著降低均方误差，认知能力分类也表现优于基线。

📝 摘要（中文）

从非同步视频面试（AVI）中预测心理特征是一项具有挑战性的多模态学习问题，因为标注数据集有限，而每个响应包含高维的视觉、声学和语言信号。本文提出了解决方案，参与ACM Multimedia AVI Challenge 2026，评估两个任务：Track 1预测自我报告的HEXACO个性特征，Track 2分类认知能力水平。我们将该问题视为小样本表示学习任务，采用冻结的多模态编码器，包括CLIP、Whisper和RoBERTa等，随后使用低容量的下游模型。实验结果显示，Track 1的回归系统在验证集上实现了0.2696的均方误差，优于官方基线0.3334。Track 2的多模态集成达到0.5313的准确率，均高于官方基线0.4062。

🔬 方法详解

问题定义：本文旨在解决从非同步视频面试中预测个性特征和认知能力的具体问题。现有方法面临标注数据稀缺和高维信号处理的挑战，导致模型性能受限。

核心思路：论文的核心思路是采用冻结的多模态编码器进行小样本表示学习，避免对大型预训练模型的微调，以提高模型的泛化能力和效率。

技术框架：整体架构包括三个主要模块：视觉特征提取（使用CLIP）、声学特征提取（使用Whisper）和文本表示（使用RoBERTa、E5和DeBERTaV3），最后通过低容量的下游模型进行特征融合和预测。

关键创新：最重要的技术创新在于采用冻结的多模态编码器进行特征提取，结合特征的晚期融合策略，显著提高了个性特征预测的准确性。与现有方法相比，避免了对大型模型的微调，降低了计算复杂度。

关键设计：在模型设计中，采用了特征的晚期融合策略，针对每个特征进行单独建模，并在最终阶段进行融合。此外，损失函数的选择和模型的容量设计也经过精心调整，以优化性能。

🖼️ 关键图片

fig_0

📊 实验亮点

在Track 1中，论文提出的个性特征回归系统在验证集上实现了0.2696的均方误差，相较于官方基线0.3334降低了19.1%。在Track 2中，论文的多模态集成模型达到0.5313的准确率，均高于官方基线0.4062，显示出模型的有效性。

🎯 应用场景

该研究的潜在应用领域包括人力资源招聘、心理健康评估和教育心理学等。通过分析视频面试中的非语言和语言信号，可以为个性和认知能力的评估提供更为客观和科学的依据，未来可能影响招聘决策和个性化教育方案的制定。

📄 摘要（原文）

Predicting psychological traits from asynchronous video interviews (AVIs) is a challenging multimodal learning problem because labeled datasets are limited while each response contains high-dimensional visual, acoustic, and verbal signals. This paper presents our solution for the ACM Multimedia AVI Challenge 2026, which evaluates two tasks: Track~1 predicts self-reported HEXACO personality traits from personality-related interview responses, and Track~2 classifies cognitive ability levels from structured AVI responses. We treat the problem as a small-sample representation learning task. Instead of fine-tuning large pretrained models, we use frozen multimodal encoders, including CLIP for visual features, Whisper for acoustic features and transcripts, and RoBERTa, E5, and DeBERTaV3 for textual representations, followed by low-capacity downstream models. For Track~1, our trait-specific regression and late-fusion system achieves an average validation MSE of 0.2696, improving over the official baseline of 0.3334. Ablation results show a three-step improvement from a global model (0.3189), to per-trait modeling (0.2871), to per-trait late fusion (0.2696), corresponding to a 19.1\% relative MSE reduction over the official baseline. For Track~2, a compact subject-attribute baseline reaches 0.5781 accuracy, while our multimodal ensemble reaches 0.5313, both above the official baseline of 0.4062. We interpret this result as evidence of possible subject-attribute shortcuts in the validation split rather than robust cognitive inference from AVI content. Overall, our findings suggest that AVI-based psychological assessment benefits from trait-specific multimodal modeling, but cognitive ability prediction requires careful control of dataset shortcuts.