When Steering Shifts Discourse: Identifying and Intervening on Discourse-Level Changes due to Activation Steering in LLMs
作者: Shivam Adarsh, Hetianyu Huang, Lau Safin, Maria Maistro, Christina Lioma
分类: cs.CL, cs.AI
发布日期: 2026-10-30
💡 一句话要点
提出激活引导干预方法以解决LLM话语变化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 激活引导 大型语言模型 话语控制 文本生成 干预方法
📋 核心要点
- 现有的激活引导方法在控制LLM行为时，会引发未预期的话语变化，这些变化尚未得到充分理解。
- 本文提出通过添加补充向量来针对特定话语维度进行干预，从而恢复未预期的变化。
- 实验结果表明，该方法在93%的生成中保留了预期行为，并恢复了约78%的未预期话语变化。
📝 摘要（中文）
激活引导是一种在推理时控制大型语言模型（LLM）行为的技术，通过向其残差流激活添加向量来实现，而无需重新训练模型或编辑输入提示。然而，这种方法会在未预期的方式上改变生成文本，导致与预期行为无关的变化，且这些变化尚未得到充分理解。本文展示了激活引导在生成文本的话语维度上系统性地产生显著变化，如正式性、证据使用和模糊性。我们提出了一种通过添加第二个补充向量来针对受影响的话语维度进行干预的方法，该干预在约93%的生成中保留了预期的引导行为，同时恢复了约78%的未预期话语变化。
🔬 方法详解
问题定义：本文旨在解决激活引导技术在生成文本中引发的未预期话语变化问题。现有方法仅通过粗略信号（如困惑度）来衡量这些变化，缺乏深入分析。
核心思路：论文提出通过添加一个补充向量来干预受影响的话语维度，从而在保持预期引导行为的同时，恢复未预期的变化。这种设计旨在精细控制生成文本的特定属性。
技术框架：整体架构包括两个主要阶段：首先应用激活引导以实现目标行为，其次通过补充向量干预来修正话语维度的变化。主要模块包括激活引导模块和干预模块。
关键创新：最重要的技术创新在于提出了补充向量的概念，这一方法与现有的仅依赖单一向量的激活引导方法本质上不同，能够更有效地控制生成文本的多维属性。
关键设计：在参数设置上，补充向量的选择和调整至关重要，损失函数设计需考虑到话语维度的多样性，网络结构则需支持对残差流的有效操作。具体细节包括向量的维度、学习率等超参数的优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在93%的生成中成功保留了预期的引导行为，同时恢复了约78%的未预期话语变化。这一性能显著优于传统方法，展示了在话语控制方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括对话系统、内容生成和文本编辑等场景。通过精确控制生成文本的话语特性，可以提升用户体验，确保生成内容的安全性和适宜性，未来可能在教育、客服等领域产生深远影响。
📄 摘要（原文）
Activation steering is an inference-time technique used to control or modify the behavior, tone, or safety properties of a large language model (LLM) without retraining the model's weights or editing its input prompt, but simply by adding a vector to its residual-stream activations. However, activation steering also changes the generated text in unintended ways, unrelated to intended behavior change, that are not well understood. Prior work has measured these changes only through coarse signals such as perplexity. In this work, we show that steering systematically produces significant changes in discourse dimensions of the generated text, such as its formality, use of evidence, and ambiguity. We present a way of countering this by adding a second, complementary vector that targets the affected discourse dimension. This intervention restores about 78% of the unintended discourse changes while preserving the intended steering behavior in about 93% of the generations.