The Geometry of Emotion Representations Across Scale, Depth, and Instruction Tuning

📄 arXiv: 2610.35411v1 📥 PDF

作者: Adam Hollowell

分类: cs.CL, cs.LG

发布日期: 2026-10-26

💡 一句话要点

研究情感几何在不同规模与调优下的表现

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 情感几何 大型语言模型 指令调优 情感分析 自然语言处理 模型比较 谷歌Gemma 2

📋 核心要点

  1. 现有大型语言模型在情感理解方面的表现存在局限，尤其是在不同规模和调优策略下的情感几何特征的比较不足。
  2. 本研究通过建立提取管道，系统性地比较了Gemma 2系列模型在基础和调优状态下的情感几何表现，揭示了规模与调优对情感表示的影响。
  3. 实验结果表明，所有模型均展现核心情感几何特征，且随着模型规模的增大，情感几何的方差分布更加广泛，调优对情感相关性的影响有限。

📝 摘要（中文）

本研究测量了六个大型语言模型（LLM）在情感几何方面的表现，涵盖了谷歌的Gemma 2系列。通过Sofroniew等人（2026）建立的提取管道，比较了Gemma 2的基础模型与指令调优模型的情感几何。结果显示，所有模型均展现出核心情感几何特征，且模型规模对几何的方差分布有显著影响，同时调优对情感相关性有一定的影响。研究还提供了代码、数据和审计报告。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在情感几何表示方面的比较不足，尤其是在不同规模和调优策略下的表现差异。现有方法未能系统性地分析这些模型的情感几何特征。

核心思路：通过建立一个提取管道，比较不同规模（2B、9B、27B）和调优状态下的Gemma 2系列模型，分析情感几何的变化及其与人类情感评价的相关性。

技术框架：研究采用了Sofroniew等人建立的提取管道，首先提取模型的情感向量，然后通过线性映射分析不同模型间的情感几何，最后评估调优对情感表示的影响。

关键创新：本研究的创新在于系统性地比较了不同规模和调优状态下的情感几何，揭示了规模对情感几何方差的影响及调优对情感相关性的微妙变化。

关键设计：在实验中，使用了清理后的嵌入表向量进行线性映射，确保每个持有的情感在所有模型对中以排名1的方式恢复。同时，评估了情感词在输出词汇中的出现深度，提供了对情感表示的深入理解。

📊 实验亮点

实验结果显示，所有六个模型均展现出核心情感几何特征，且在不同规模下，情感几何的方差分布显著变化。调优后的模型在情感相关性上有微小提升，且在所有模型对中，线性映射成功恢复持有情感的排名均为1，验证了方法的有效性。

🎯 应用场景

该研究的成果可广泛应用于情感分析、自然语言处理和人机交互等领域。通过深入理解情感几何，能够提升情感识别系统的准确性，进而改善用户体验和情感计算的效果。未来，研究结果可能推动更智能的情感计算模型的开发。

📄 摘要（原文）

We measure the emotion geometry of six LLMs spanning Google's Gemma 2 family. Using an extraction pipeline established by Sofroniew et al. (2026) on Claude Sonnet 4.5 and replicated by Hollowell (2026) on Gemma 2 27B base, we compare emotion geometry across base and instruction-tuned variants of Gemma 2 2B, 9B, and 27B. First, all six model cells exhibit the core emotion geometry. A linear map fit between two cells places held-out emotions nearest their own vectors in the target model. Across all fifteen model pairs, fit in one direction each, this failed exactly once, and the median rank was 1 in every pair. Linear maps refit on cleaned embedding-table vectors recover every held-out emotion at rank 1 in all thirty ordered pairs. Second, scale spreads the geometry's variance across more directions without weakening its tie to valence. The leading component's share of variance falls from 31.6 percent (2B) to 29.8 (9B) to 26.7 (27B) in the base models and from 31.9 (2B) to 29.2 (9B) to 27.3 (27B) in the tuned ones, while its correlation with human valence ratings stays between .71 and .78 in all six models. Third, we project each emotion vector onto the output vocabulary and ask at what depth the vector's own emotion word enters the top 10,000 of the 256,000 tokens. In the 2B and 9B models the median emotion word is there from layer 0, while in the 27B models it begins near chance, stays outside the top 10,000 for half the network, and enters at layer 23 in one step. Fourth, tuning leaves every registered analysis-layer measure within its floor. At every size, valence correlation rises and arousal correlation falls by amounts within their floors, the latter against prediction. PC2's variance share also falls, with a pooled decrease significant after correction. Mid-late layer stability exceeds its floor and traces to base 27B's final layer. Code, data, and audit reports are released.