Some Emotions Run Deeper: Layer-wise Probing and Causal Intervention in Large Language Models
作者: Tian Fang, Gaël Guibon, Davide Buscaldi
分类: cs.CL, cs.AI
发布日期: 2026-09-01
备注: Accepted at EMNLP 2026 Findings
💡 一句话要点
通过层级探测与因果干预分析大语言模型中的情感表达
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感分析 大语言模型 层级探测 因果干预 社交媒体 数据集比较 模型性能
📋 核心要点
- 现有情感分析方法多基于单一语料，未能探讨情感可达深度的模型特性与文本源特性之间的关系。
- 本文提出结合层级探测与因果干预的方法，分析不同数据集中的情感表达深度及其影响因素。
- 实验结果显示，探测选出的层次在不同语料中变化显著，且早期退出表示的准确性优于全深度模型。
📝 摘要（中文）
情感在文本中以广泛的谱系表达，从表面词汇线索到与内容交织的推理。现有的情感层级分析主要基于单一语料，未能明确情感可达深度是模型特性还是文本源特性。本文通过分析三种不同情感表达显性和上下文化程度的数据集（Twitter、Reddit和自传叙述），结合层级探测、离线特征缩放和在线前向干预等方法，发现最佳探测层在不同语料中系统性变化，并且所选带宽在不同数据集和情感类别间具有部分共享的情感信息。探测选出的早期退出表示在准确性上优于全深度退出，平均提升6.9个百分点。
🔬 方法详解
问题定义：本文旨在探讨大语言模型中情感表达的层级可达性，现有方法未能有效区分模型特性与文本源特性对情感分析的影响。
核心思路：通过层级探测结合因果干预，分析不同数据集中的情感表达深度，揭示情感信息的共享特性。
技术框架：研究采用三种数据集（Twitter、Reddit、自传叙述），使用八种开源大语言模型，结合层级探测、离线特征缩放和在线前向干预等技术，构建完整的分析流程。
关键创新：提出的探测层在不同语料中系统性变化，且所选带宽在不同数据集和情感类别间具有部分共享的情感信息，突破了传统情感分析的局限。
关键设计：实验中采用了标签按长度分箱的分布匹配，前向干预的带宽选择，以及早期退出分类器的设计，确保了结果的可靠性与有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，探测选出的带宽在不同数据集和情感类别间具有部分共享的情感信息，前向干预在探测选出的带宽上减少了5-6个百分点的测试准确率。此外，早期退出表示在准确性上平均提升了6.9个百分点，显著优于全深度退出。
🎯 应用场景
该研究可广泛应用于情感分析、社交媒体监测和人机交互等领域。通过深入理解大语言模型中的情感表达，能够提升情感识别的准确性，为情感驱动的应用提供更强的支持，未来可能对情感计算和智能对话系统产生深远影响。
📄 摘要（原文）
Emotion is expressed in text along a wide spectrum, from surface lexical cues to inferences entangled with content. Most layer-wise analyses of emotion in LLMs use a single corpus, leaving open whether the depth at which emotion becomes accessible is a property of the model or also of the text source. We investigate this across three datasets spanning different degrees of explicitness and contextualization in emotion expression (Twitter posts, Reddit comments, and autobiographical narratives) and eight 1B--9B open-weight LLMs from the Llama, Qwen, and Granite families. We combine layer-wise probing with offline feature scaling and online forward interventions, transfer analyses, and an early-exit classifier. We find that (i) the best probing layer shifts systematically across corpora, from input-adjacent layers to over half model depth, and this ordering persists after matching label-by-length-bin distributions; (ii) across the evaluated settings, forward-pass interventions on probe-selected bands reduce test accuracy by 5--6 points more than same-width random bands ($q < 0.01$); (iii) selected bands transfer across datasets and emotion categories, suggesting partially shared affective information rather than strictly per-emotion substrates; and (iv) probe-selected early-exit representations outperform full-depth exits by $6.9$ percentage points on average.