Controllable Affective Generation via Latent Vector Steering

📄 arXiv: 2608.25569v1 📥 PDF

作者: Xixian Yong, Siyuan Chang, Yingying Zhang, Xian Wu, Xiao Zhou

分类: cs.CL, cs.AI

发布日期: 2026-08-26

💡 一句话要点

提出EmoVec以解决大语言模型情感生成不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感生成 大语言模型 潜在向量引导 情感控制 机器学习

📋 核心要点

  1. 现有大语言模型在情感生成方面存在情感平淡的问题，影响其在情感敏感应用中的表现。
  2. 论文提出EmoVec框架，通过潜在向量引导实现情感生成的可控性，优化情感方向的提取与应用。
  3. 实验结果显示，EmoVec在情感显著性上有显著提升，同时保持了语义内容的完整性和流畅性。

📝 摘要（中文）

大语言模型（LLMs）在对齐后常常产生情感平淡的响应，这限制了其在情感敏感应用中的有效性。本文提出了EmoVec，一个轻量级框架，通过潜在向量引导实现可控的情感生成。EmoVec利用对比激活添加从配对的中性和情感条件响应中提取特定情感方向，并通过任务特定的去偏差和主子空间去除进一步优化。在推理过程中，这些向量被注入到最终的残差流中，采用静态或场景自适应缩放，从而在不更新模型权重的情况下实现对情感强度的连续控制。实验表明，EmoVec在三种LLM和八种情感下均能显著提高情感显著性，同时大幅保留语义内容、流畅性和连贯性。

🔬 方法详解

问题定义：本文旨在解决大语言模型在情感生成中出现的情感平淡问题。现有方法在对齐后，生成的响应缺乏情感深度，限制了其在情感敏感场景中的应用。

核心思路：EmoVec通过潜在向量引导，提取情感特定的方向，并在推理时将其注入到模型中，实现对情感强度的可控调节，而无需更新模型权重。

技术框架：EmoVec的整体架构包括情感方向提取模块、去偏差模块和推理模块。首先，通过对比激活添加提取情感方向，然后进行去偏差处理，最后在推理阶段将向量注入到残差流中。

关键创新：EmoVec的主要创新在于其轻量级设计和向量引导机制，使得情感生成的控制更加灵活和高效，与现有方法相比，能够在不改变模型结构的情况下实现情感调节。

关键设计：在设计中，采用了静态和场景自适应的缩放策略，以便在不同情境下灵活调整情感强度。此外，任务特定的去偏差和主子空间去除技术也被引入，以提高情感方向的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EmoVec在情感显著性上有显著提升，能够在三种不同的大语言模型上实现对八种情感的有效控制。与基线模型相比，情感生成的质量提升显著，保持了语义内容的完整性和流畅性，验证了向量净化和自适应缩放的有效性。

🎯 应用场景

EmoVec的研究成果在情感生成领域具有广泛的应用潜力，尤其是在聊天机器人、情感分析和个性化内容生成等场景中。通过提升情感生成的可控性，EmoVec能够为用户提供更加丰富和个性化的交互体验，未来可能在教育、心理健康和娱乐等多个领域产生深远影响。

📄 摘要（原文）

Large Language Models (LLMs) often produce emotionally flattened responses after alignment, limiting their effectiveness in affect-sensitive applications. In this paper, we propose EmoVec, a lightweight framework for controllable affective generation via latent vector steering. EmoVec extracts emotion-specific directions from paired neutral and emotion-conditioned responses using contrastive activation addition, and further refines them through task-specific debiasing and principal subspace removal. During inference, these vectors are injected into the final residual stream with static or scenario-adaptive scaling, enabling continuous control over emotional intensity without updating model weights. Experiments across three LLMs and eight emotions show that EmoVec consistently improves emotional salience while largely preserving semantic content, fluency, and coherence. Ablation studies and human evaluation further confirm the effectiveness of vector purification and adaptive scaling, establishing EmoVec as a practical inference-time method for affective control in deployed LLMs.