MUPA$^{2}$E: Multimodal Unified Perception with Asymmetric Attention for Emotion Assessment

📄 arXiv: 2608.15999v1 📥 PDF

作者: Stefanos Gkikas, Eric Nichols, Christian Arzate Cruz, Randy Gomez

分类: cs.AI

发布日期: 2026-08-17

💡 一句话要点

提出MUPA²E框架以解决多模态情感评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感评估 非对称注意力 脑电图 面部视频 信息融合 统一感知框架 深度学习

📋 核心要点

  1. 现有多模态情感评估方法通常依赖于独立的特征提取管道，导致信息融合效率低下。
  2. MUPA²E框架通过单一的非对称注意力骨干网络处理面部视频和EEG，提升了多模态信号的融合效率。
  3. 在DMER数据集上，合并融合配置的测试准确率达到了70.07%，显示出该方法在情感评估中的有效性。

📝 摘要（中文）

自动情感评估可以通过结合神经和行为信号获益，但许多多模态方法依赖于独立的特征提取管道。本文提出了MUPA²E，一个统一的感知框架，通过单一的非对称注意力骨干网络处理面部视频和脑电图（EEG）。面部视频通过轴折叠帧标记表示，而EEG则作为原始多通道波形或投影到空间域进行多模态融合。该框架在DMER数据集上进行评估，比较了单模态视频、单模态EEG和融合视频-EEG配置。实验结果显示，合并融合在步幅为30时达到了最高的验证性能和70.07%的测试准确率，进一步分析表明录制时长在情感类别中分布不均，控制这一因素后，测试准确率为62.71%。这些发现展示了在紧凑的统一架构中处理结构不同的神经和视觉信号的可行性，同时强调了控制情感数据集中时长相关线索的重要性。

🔬 方法详解

问题定义：本文旨在解决多模态情感评估中信息融合效率低下的问题。现有方法通常依赖于独立的特征提取管道，导致不同模态之间的协同作用不足。

核心思路：MUPA²E框架通过非对称注意力机制，将面部视频和EEG信号整合到一个统一的处理流程中，从而提高了信息融合的效率和准确性。

技术框架：该框架包括两个主要模块：面部视频处理模块和EEG处理模块。面部视频通过轴折叠帧标记表示，而EEG信号可以作为原始波形或空间域投影进行处理。

关键创新：MUPA²E的核心创新在于其统一的非对称注意力机制，能够有效整合不同模态的信息，克服了传统方法的局限性。

关键设计：在实验中，使用了合并融合配置，步幅设置为30，确保了不同模态信号的有效对齐。此外，控制录制时长的影响，通过裁剪所有录制到统一的20秒，进一步验证了框架的稳定性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，MUPA²E框架在DMER数据集上的测试准确率达到了70.07%，相比于单模态配置有显著提升。此外，控制录制时长后，框架在情感评估中的表现依然保持稳定，测试准确率为62.71%。

🎯 应用场景

该研究的潜在应用领域包括情感计算、心理健康监测和人机交互等。通过有效整合视觉和神经信号，MUPA²E框架可以在实时情感识别和反馈系统中发挥重要作用，提升用户体验和情感理解的准确性。

📄 摘要（原文）

Automatic emotion assessment can benefit from combining neural and behavioral signals, but many multimodal approaches rely on separate, modality-specific feature-extraction pipelines before fusion. This paper presents MUPA\textsuperscript{2}E, a unified perception framework that processes facial video and electroencephalography (EEG) through a single shared asymmetric-attention backbone. Facial video is represented through axis-folded frame tokens, while EEG is processed either as a raw multichannel waveform or projected into the spatial domain for multimodal fusion. The framework is evaluated on the DMER dataset under a stratified subject-independent protocol, comparing unimodal video, unimodal EEG, and fused video--EEG configurations with per-channel and merged EEG projections. Using the original recordings, with shorter trials zero-padded to match the longest duration, merged fusion at stride~$30$ achieves the highest validation performance and a test accuracy of $70.07\%$. Further analysis revealed that recording duration is unevenly distributed across the affective classes, making the padding pattern a potential classification cue. Controlling for this factor by cropping all recordings to a common duration of $20$ seconds yielded a test accuracy of $62.71\%$, providing a stricter duration-controlled assessment of the framework in which differences in recording length are removed as a potential classification cue. These findings demonstrate the feasibility of processing structurally different neural and visual signals within a compact unified architecture while highlighting the importance of controlling duration-related cues in affective datasets.