Data-Driven Decoding of Russell's Circumplex Model of Affect
作者: Amdjed Belaref, Samir Sadok, Zineb Noumir, Renaud Seguier
分类: cs.CL
发布日期: 2026-06-15
备注: This work has been submitted to the IEEE for possible publication
💡 一句话要点
提出数据驱动框架以验证拉塞尔情感模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感计算 深度学习 多模态融合 变换器 拉塞尔模型 拓扑结构 情感分析
📋 核心要点
- 现有情感计算方法在潜在空间的可解释性和高维性方面存在挑战，导致情感表示不够清晰。
- 本文提出了一种数据驱动的框架，通过多模态变换器融合文本和音频，验证拉塞尔情感模型的几何结构。
- 实验结果显示，多模态融合实现了与拉塞尔情感排序的完美对齐，且细粒度情感术语在零样本设置下表现优异。
📝 摘要（中文）
情感计算日益依赖深度学习来表示情感，但潜在空间往往是高维黑箱。本文研究了变换器的嵌入是否能恢复拉塞尔情感模型的几何规律。通过对文本和语音训练模型的实验，评估其潜在空间是否符合愉悦-唤醒的拓扑结构。结果表明，文本和音频的多模态融合实现了与拉塞尔情感排序的完美拓扑对齐，且在零样本设置下，细粒度情感术语的投影接近人类标注坐标。我们的贡献在于提出了一种新的数据驱动框架，验证情感模型，展示拉塞尔的情感结构在这些模态的嵌入中是内在编码的，而不仅仅是人类标注的产物，从而弥合心理学理论与表示学习之间的鸿沟。
🔬 方法详解
问题定义：本文旨在解决现有情感计算方法在潜在空间的可解释性不足和高维性带来的挑战，尤其是如何验证情感模型的几何结构。
核心思路：通过训练文本和语音的变换器模型，提取其嵌入并分析其拓扑结构，验证其是否符合拉塞尔的愉悦-唤醒模型。
技术框架：整体架构包括文本编码器（RoBERTa）、语音编码器（wav2vec 2.0）以及多模态融合模块，利用自然数据集（如MSP-Podcast）和控制生成的刺激进行评估。
关键创新：提出了一种新的数据驱动框架，展示了拉塞尔情感结构在变换器嵌入中的内在编码，突破了传统人类标注的局限。
关键设计：在模型训练中，采用了特定的损失函数以优化嵌入的拓扑结构，并通过零样本学习方法确保细粒度情感术语的有效投影。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，文本与音频的多模态融合实现了与拉塞尔情感排序的完美拓扑对齐。此外，在零样本设置下，细粒度情感术语的投影接近人类标注坐标，验证了模型的有效性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括情感分析、情感驱动的用户交互系统以及心理健康监测等。通过提供更清晰的情感表示，该框架能够提升情感计算系统的性能和可解释性，未来可能在智能助手和情感机器人等领域产生深远影响。
📄 摘要（原文）
Affective computing increasingly relies on deep learning to represent emotions, yet latent spaces often remain opaque, high-dimensional black boxes. This paper investigates whether Transformers' embeddings recover the geometric regularities of Russell's circumplex model. We unify two complementary experiments testing the hypothesis that, after training models on text and speech, their resulting latent spaces encode a topology consistent with valence-arousal and reproduce human-like neighborhood relations. Specifically, we evaluate deep representations extracted from Transformer-based text (RoBERTa) and speech (wav2vec 2.0) encoders, along with a multimodal Transformer fusion architecture, across naturalistic datasets like MSP-Podcast and controlled LLM-generated stimuli. Our analysis reveals that multimodal fusion of text and audio yields perfect topological alignment with Russell's primary emotion ordering. Furthermore, in a zero-shot setting using generic text embeddings, projected fine-grained emotion terms fall close to their established human-mapped coordinates. Our contribution is a novel, data-driven framework for validating emotion models, demonstrating that Russell's circumplex structure is intrinsically encoded in the embeddings of these modalities rather than being solely an artifact of human labeling, thereby bridging the gap between psychological theory and representation learning.