Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

📄 arXiv: 2606.26987v1 📥 PDF

作者: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

分类: cs.CL, cs.AI

发布日期: 2026-06-25

💡 一句话要点

探讨开源大语言模型中的情感向量及其表现

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 情感向量 开源模型 大语言模型 效价几何 唤醒度编码 自然语言处理 情感分析

📋 核心要点

  1. 现有方法在情感向量的普遍性和表现上存在不足，尤其是在不同模型架构中的表现差异。
  2. 本文提出在两个开源模型中提取情感对比向量，验证情感表示的几何特征及其深度表现。
  3. 实验结果显示，两个模型在效价几何上均有良好表现，且在不同层次的效价表示上存在显著差异。

📝 摘要（中文）

近期研究在Claude Sonnet 4.5中识别了情感向量，这些内部表示编码情感概念，因果影响行为，并展现出与人类心理结构相似的几何特征。本文在两个开源模型Apertus-8B-Instruct-2509和Gemma-4-E4B-it中测试这些发现的普遍性，提取了所有层的情感对比向量。我们恢复了两个模型的效价几何，发现其与Claude的相关性接近。此外，研究还观察到不同模型深度下效价表示的显著差异，Gemma-4-E4B-it在早期层强烈编码效价，而Apertus-8B-Instruct-2509则在中层出现效价表示。唤醒度编码则对提取语料敏感，两个模型在Gemma生成的故事中表现更佳，表明唤醒度相关线索在生成语料中分布不均。我们开源了实验代码和数据集，以便对情感表示进行可重复的研究。

🔬 方法详解

问题定义：本文旨在解决情感向量在不同开源大语言模型中的表现差异及其普遍性问题。现有研究主要集中在单一模型上，缺乏对多模型的比较与验证。

核心思路：通过提取和分析两个开源模型中的情感对比向量，探讨其效价和唤醒度的几何特征及其在模型深度中的变化，验证情感表示的普遍性。

技术框架：研究采用了两个开源模型Apertus-8B-Instruct-2509和Gemma-4-E4B-it，分别生成语料并提取情感向量，分析其在不同层次的表现。主要模块包括情感向量提取、几何特征分析和相关性计算。

关键创新：本文的创新在于首次系统性地比较了不同开源模型中的情感向量表现，揭示了效价表示在模型深度中的不同演变模式，提供了新的视角来理解情感表示的形成机制。

关键设计：在实验中，使用了特定的提取语料和相关性计算方法，确保了情感向量的准确性和可比性。对不同层次的效价和唤醒度进行了详细的统计分析，确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Apertus-8B-Instruct-2509和Gemma-4-E4B-it在效价几何上的相关性分别达到0.76和0.83，接近Claude的0.81。此外，Gemma-4-E4B-it在早期层强烈编码效价，而Apertus-8B-Instruct-2509则在中层才出现效价表示，显示出显著的层次差异。

🎯 应用场景

该研究的潜在应用领域包括情感分析、自然语言处理和人机交互等。通过深入理解大语言模型中的情感表示，可以提升情感识别系统的准确性，进而改善用户体验和情感交互的质量。未来，这些发现可能推动更加智能和情感敏感的AI系统的发展。

📄 摘要（原文）

Recent work identified emotion vectors in Claude Sonnet 4.5, which are internal representations that encode emotion concepts, causally influence behavior, and exhibit geometry mirroring human psychological structure. We test the generality of these findings in two open-weight models, Apertus-8B-Instruct-2509 and Gemma-4-E4B-it, extracting emotion contrast vectors across all layers, using two model-generated corpora. We recover valence geometry for both models, with peak PC1--valence correlations of $r = 0.76$ and $r = 0.83$, approaching the $r = 0.81$ reported for Claude.Beyond replication, we observe notable differences in how valence representations emerge across model depth. In Gemma-4-E4B-it, valence is strongly encoded in early layers but collapses towards later layers, whereas Apertus-8B-Instruct-2509 exhibits the opposite pattern, with valence representations absent in early layers, but emerging at mid depths. Arousal encoding, in contrast, is sensitive to the extraction corpus: both models show stronger PC2--arousal alignment with Gemma-generated stories ($r$ up to $0.45$) than Apertus-generated ones ($r \leq 0.21$), suggesting arousal-relevant cues are unevenly distributed across generated corpora. We open-source our experiment code and dataset for reproducible investigation of emotion representations across language model architectures.