Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability
作者: Kuo-En Hung, Hung-Yue Suen, Shih-Ching Yeh, Hsiang-Wen Wang
分类: cs.HC, cs.AI, cs.CV
发布日期: 2026-06-12
💡 一句话要点
提出冻结多模态嵌入以解决心理特征与认知能力评估问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 异步视频面试 心理特征预测 认知能力评估 多模态学习 小样本学习 特征融合 机器学习
📋 核心要点
- 核心问题：现有方法在异步视频面试中面临标注数据稀缺和高维信号处理的挑战。
- 方法要点：采用冻结的多模态编码器，结合视觉、声学和文本特征，进行小样本表示学习。
- 实验或效果：Track 1的MSE从0.3334降至0.2696，显示出显著的性能提升。
📝 摘要（中文）
从异步视频面试（AVI）中预测心理特征是一项具有挑战性的任务，因标注数据集有限且每个回答包含高维视觉、声学和语言信号。本文提出了一种解决方案，参与ACM Multimedia AVI Challenge 2026，评估两个任务：Track 1预测自我报告的HEXACO人格特征，Track 2分类认知能力水平。我们将问题视为小样本表示学习任务，采用冻结的多模态编码器，结合视觉特征、声学特征和文本表示，最终使用低容量下游模型。实验结果显示，Track 1的平均验证均方误差（MSE）为0.2696，相较于官方基线0.3334有显著提升。
🔬 方法详解
问题定义：本文旨在解决从异步视频面试中预测心理特征和认知能力的具体问题。现有方法面临标注数据稀缺和高维信号处理的挑战，导致模型性能受限。
核心思路：我们提出将问题视为小样本表示学习任务，采用冻结的多模态编码器而非微调大型预训练模型，以提高模型在小样本情况下的表现。
技术框架：整体架构包括三个主要模块：视觉特征提取（使用CLIP）、声学特征提取（使用Whisper）和文本表示（使用RoBERTa、E5和DeBERTaV3），最后通过低容量下游模型进行融合和预测。
关键创新：最重要的技术创新在于使用冻结的多模态编码器进行特征提取，避免了对大型模型的微调，从而提升了小样本学习的效果。
关键设计：在Track 1中，采用特征特定的回归和后期融合系统，经过三步改进，从全局模型到每个特征的建模，最终实现了显著的MSE降低。
🖼️ 关键图片
📊 实验亮点
在Track 1中，我们的特征特定回归和后期融合系统实现了平均验证MSE为0.2696，相较于官方基线0.3334提升了19.1%。在Track 2中，我们的多模态集成模型达到0.5313的准确率，均高于官方基线0.4062，尽管结果显示可能存在数据集的快捷方式问题。
🎯 应用场景
该研究的潜在应用领域包括心理健康评估、招聘面试和教育评估等。通过准确预测个体的心理特征和认知能力，能够为企业和教育机构提供更为科学的决策依据，提升人力资源管理和教育质量。未来，该方法可能在更广泛的心理评估和个性化教育中发挥重要作用。
📄 摘要（原文）
Predicting psychological traits from asynchronous video interviews (AVIs) is a challenging problem in AI-assisted interview assessment because labeled datasets are limited while each response contains high-dimensional visual, acoustic, and verbal signals. This paper presents our solution for the ACM Multimedia AVI Challenge 2026, which evaluates two tasks: Track~1 predicts self-reported HEXACO personality traits from personality-related interview responses, and Track~2 classifies cognitive ability levels from structured AVI responses. We treat the problem as a small-sample representation learning task. Instead of fine-tuning large pretrained models, we use frozen multimodal encoders, including CLIP for visual features, Whisper for acoustic features and transcripts, and RoBERTa, E5, and DeBERTaV3 for textual representations, followed by low-capacity downstream models. For Track~1, our trait-specific regression and late-fusion system achieves an average validation MSE of 0.2696, improving over the official baseline of 0.3334. Ablation results show a three-step improvement from a global model (0.3189), to per-trait modeling (0.2871), to per-trait late fusion (0.2696), corresponding to a 19.1% relative MSE reduction over the official baseline. For Track~2, a compact subject-attribute baseline reaches 0.5781 accuracy, while our multimodal ensemble reaches 0.5313, both above the official baseline of 0.4062. We interpret this result as evidence of possible subject-attribute shortcuts in the validation split rather than robust cognitive inference from AVI content. Overall, our findings suggest that AVI-based psychological assessment benefits from trait-specific multimodal modeling, but cognitive ability prediction requires careful control of dataset shortcuts.