Steering Vectors as a Training Signal in LLM Post-Training

📄 arXiv: 2610.40998v1 📥 PDF

作者: Tiejin Chen, Maunil Vyas, Huaiyuan Yao, Hua Wei

分类: cs.LG, cs.AI

发布日期: 2026-10-29

备注: Accept to NeurIPS 2026

💡 一句话要点

提出使用引导向量作为LLM后训练信号以提升性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 引导向量 后训练 大型语言模型 监督学习 强化学习 参数更新 性能提升

📋 核心要点

  1. 现有方法主要将引导向量作为事后控制手段，未充分利用其在后训练中的潜力。
  2. 本文提出在后训练中使用引导向量作为信号，通过干预机制引导参数更新，提升模型性能。
  3. 实验结果表明，在监督学习中，SV注入可提升性能达12%，在强化学习中也能有效恢复学习信号。

📝 摘要（中文）

引导向量（SVs）是残差流方向，通过在推理时添加到隐藏状态来改变大型语言模型（LLMs）的行为。尽管之前的研究主要将SVs作为事后控制手段，但本文探讨了这些方向是否也可以在后训练期间指导参数更新。我们在监督学习（包括SFT和蒸馏）和强化学习（RLVR）中研究了这一问题。通过分析引导方向、其位置和与训练结合的操作，发现SV注入在监督设置中优于普通的SFT和蒸馏，提升幅度可达12%。在强化学习中，应用正确性对比方向作为优势修复，能够恢复学习信号并转移到保留的数学基准上。

🔬 方法详解

问题定义：本文旨在解决如何有效利用引导向量（SVs）在大型语言模型（LLMs）后训练中的问题。现有方法主要将SVs用作事后控制，未能充分发挥其在参数更新中的潜力。

核心思路：论文提出将引导向量作为训练信号，通过在教师强制监督训练和错误回滚的优势修复机制中进行干预，来指导模型的参数更新。这样的设计旨在利用SVs的方向性来优化训练过程。

技术框架：整体框架包括两个干预机制：在教师强制监督训练中使用隐藏状态钩子，以及在GRPO中对错误回滚应用优势修复。每个机制都分析了引导方向、位置和结合操作等设计轴。

关键创新：最重要的技术创新在于将引导向量作为条件训练信号，突破了传统方法的局限，能够在监督和强化学习中有效提升模型性能。

关键设计：在监督学习中，SV注入的设计考虑了引导方向的选择和位置的设置，确保与训练过程的有效结合。在强化学习中，采用正确性对比方向作为优势修复，能够有效恢复学习信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在监督学习中，SV注入相较于普通SFT和蒸馏提升达12%。在强化学习中，应用正确性对比方向作为优势修复，能够恢复学习信号，并在保留的数学基准上表现出色，显示出SVs的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和自动代码生成等。通过有效利用引导向量，模型在后训练阶段的性能将显著提升，进而推动更复杂任务的实现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Steering vectors (SVs) are residual-stream directions that shift the behavior of LLMs when added to hidden states at inference time. While prior work has mainly used SVs as post-hoc controls, we ask whether the same directions can also guide parameter updates during post-training. We study this question across supervised learning, including SFT and distillation, and reinforcement learning with verifiable rewards (RLVR). Our framework considers two intervention regimes: a hidden-state hook during teacher-forced supervised training, and an advantage-repair mechanism on wrong rollouts in GRPO. For each regime, we analyze three design axes, which are the steering direction, its placement, and the operation used to combine it with training. In supervised settings, SV injection improves over plain SFT and distillation, with gains scaling with the off-policy gap and reaching up to a $12\%$ improvement when distilling from thinking-mode teachers. These gains hold across three random seeds. In RL settings, applying a correctness-contrast direction as advantage repair on wrong rollouts, including otherwise zero-gradient all-wrong groups, recovers a learning signal that transfers to held-out math benchmarks and acts as a composable auxiliary signal that adds to existing zero-variance remedies such as entropy-aware advantage shaping. We further identify three failure boundaries. In detail, code generation can break the direction, cross-family layer transfer can break the placement, and inference-time application on an SV-trained checkpoint can break the intervention regime. Together, these results establish steering vectors as a conditional but effective training signal for LLM post-training. Our code is available here.