VERS: Steering Reasoning Models by Editing Their Activation Explanations

📄 arXiv: 2611.03040v1 📥 PDF

作者: Ihor Vitenko

分类: cs.CL, cs.LG

发布日期: 2026-11-02

备注: 36 pages. Code and checkpoints: https://github.com/Strongich/doomloop-interp

💡 一句话要点

提出VERS以引导推理模型的激活解释

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理模型 激活解释 自然语言处理 模型引导 效率提升

📋 核心要点

  1. 现有推理模型在生成答案时，许多检查步骤并不影响最终结果，导致效率低下。
  2. 本文提出VERS，通过编辑推理链中的激活解释，引导模型在推理过程中的方向性。
  3. 实验结果表明，VERS在多个数据集上显著减少了生成的标记数量，同时保持了相对稳定的准确率。

📝 摘要（中文）

推理语言模型在回答之前会写出思维链，其中许多检查并不会改变最终答案。自然语言自编码器（NLA）能够用文本解释模型的激活并从文本重建激活，编辑解释可以在单个标记上引导模型。本文研究了这种编辑是否也能引导模型的推理。我们构建了VERS（Verbalize, Edit, Reconstruct, Steer），将推理链中的疑点解释编辑转化为固定方向，并在段落间添加该方向。在完整的GSM8K测试中，VERS将生成的标记减少了45.8%，准确率变化为-0.82个百分点；在MATH-500上节省了31.3%，准确率变化为-3.05个百分点。在半强度下，其标记与准确率之间的权衡介于已发布方法SEAL和DEER之间。通过拟合仿射映射和针对每个模型调整强度，该方向能够转移到更大的Qwen3模型，节省30-35%的标记。然而，在竞争问题上，VERS在每个模型大小上损失了3-7个百分点，固定方向未能区分必要检查与不必要检查。

🔬 方法详解

问题定义：本文旨在解决推理语言模型在生成答案时效率低下的问题，现有方法在推理过程中存在不必要的检查步骤，影响了生成效率。

核心思路：VERS通过编辑推理链中的激活解释，将疑点的解释转化为固定的推理方向，从而引导模型在推理过程中的决策。

技术框架：VERS的整体架构包括四个主要模块：Verbalize（口头化）、Edit（编辑）、Reconstruct（重建）和Steer（引导）。首先，模型生成推理链的激活解释，然后对其进行编辑，最后重建激活并引导模型的推理方向。

关键创新：VERS的主要创新在于将激活解释的编辑与推理过程结合，能够在推理链的疑点处引导模型朝向固定方向，这一方法与传统的推理模型优化方法有本质区别。

关键设计：在设计上，VERS使用了拟合的仿射映射，并针对每个模型调整了引导强度，以确保方向能够有效转移到更大的模型上。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，VERS在GSM8K测试中将生成的标记减少了45.8%，准确率仅下降0.82个百分点；在MATH-500上节省了31.3%的标记，准确率下降3.05个百分点。与现有方法SEAL和DEER相比，VERS在标记与准确率之间的权衡表现出色。

🎯 应用场景

该研究的潜在应用领域包括教育、自动问答系统和智能助手等。通过提高推理模型的效率，VERS能够在实际应用中减少计算资源的消耗，同时提升用户体验。未来，该方法可能会影响更广泛的自然语言处理任务，推动智能系统的进一步发展。

📄 摘要（原文）

Reasoning language models write a chain of thought before they answer, and many checks in it do not change the final answer. Natural language autoencoders (NLAs) explain a model's activations in text and rebuild activations from text, and editing an explanation can steer a model at a single token. We study whether such edits can also steer how a model reasons. We build VERS (Verbalize, Edit, Reconstruct, Steer): it turns explanation edits at the doubt points of one reasoning trace into one fixed direction, and adds this direction at paragraph breaks. On the full GSM8K test, VERS cuts generated tokens by 45.8% at an accuracy change of -0.82 percentage points (pp); on MATH-500 it saves 31.3% at -3.05 pp. At half strength, its trade-off between tokens and accuracy lies between those of the published methods SEAL and DEER. With fitted affine maps and a strength tuned for each model, the direction transfers to larger Qwen3 models, up to 235B-A22B, and saves 30-35% of tokens. On competition problems, however, VERS loses 3-7 pp at every model size, and a fixed direction did not separate necessary checks from unneeded ones.