The Value Axis: Language Models Encode Whether They're on the Right Track
作者: Nick Jiang, Isaac Kauvar, Jack Lindsey
分类: cs.CL
发布日期: 2026-06-15
备注: Code repository: https://github.com/nickjiang2378/value-axis
💡 一句话要点
提出价值轴以评估语言模型的决策信心
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 价值轴 决策信心 直接偏好优化 强化学习 模型评估 自然语言处理
📋 核心要点
- 现有语言模型在决策过程中缺乏对其策略价值的内部评估，导致信心和表现不一致。
- 论文提出通过构建“价值”轴来量化语言模型的决策信心，利用合成的强化学习数据进行训练和评估。
- 实验结果表明，价值轴能够有效区分不同信心水平的决策，并且直接偏好优化显著提升了模型的自信表现。
📝 摘要（中文）
本研究探讨语言模型是否能够内部追踪其当前策略的价值，即其实现目标的可能性。通过合成的上下文强化学习数据，我们为Qwen3-8B构建了一个“价值”轴。研究发现，该轴的激活能够区分高低口头信心、是否回溯的推演以及正确与损坏的代码。朝向高价值的引导会因果性地抑制自我修正并减少解释的冗长，而朝向低价值则会引发回溯和探索。我们展示了直接偏好优化（DPO）可以提升被奖励行为的内部价值，导致模型在表现这些行为后更加自信。最后，我们将价值轴应用于实际场景，发现Qwen在后训练阶段对政治敏感的聊天查询赋予低价值，而监督微调则在训练领域内提高了内部信心。结果表明，语言模型线性编码了对预期目标成功的估计，从而调节其追求方向的信心。
🔬 方法详解
问题定义：本研究旨在解决语言模型在决策过程中缺乏对其策略价值的内部评估问题。现有方法未能有效量化模型的信心，导致其在执行任务时表现不稳定。
核心思路：论文的核心思路是构建一个“价值”轴，通过该轴量化模型在不同决策路径上的信心。通过分析模型在不同情境下的激活情况，能够更好地理解其决策过程。
技术框架：整体架构包括数据生成、模型训练和评估三个主要阶段。首先，使用合成的上下文强化学习数据生成训练样本；其次，训练Qwen3-8B模型以学习价值轴；最后，评估模型在不同任务中的表现和信心。
关键创新：最重要的技术创新点在于提出了“价值”轴的概念，使得模型能够内部追踪其策略的价值，并通过激活分析来调节决策信心。这一方法与传统的模型评估方法有本质区别。
关键设计：在模型训练中，采用了直接偏好优化（DPO）作为关键设计，通过优化奖励行为的内部价值，提升模型在特定任务中的信心。此外，模型的损失函数和参数设置经过精心设计，以确保价值轴的有效性和稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Qwen模型在高价值引导下表现出更高的决策信心，且在处理政治敏感查询时赋予低价值。通过直接偏好优化，模型的内部信心在训练领域内显著提升，表明价值轴的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升语言模型的决策信心，可以改善用户交互体验，增强模型在复杂任务中的表现。此外，研究结果为未来的模型优化提供了新的思路，可能会影响模型的训练和评估方法。
📄 摘要（原文）
We investigate whether language models internally track the value of their current trajectory, defined as the likelihood that their ongoing strategy will achieve their goals. Using synthetic, in-context reinforcement learning data, we construct a "value" axis for Qwen3-8B. We find that activations along this axis distinguish between high vs. low verbalized confidence, rollouts without and with backtracking, and correct vs. corrupted code. Steering towards high value causally suppresses self-correction and reduces explanatory verbosity, while steering towards low value induces backtracking and exploration. We demonstrate that direct preference optimization (DPO) can increase the internal value of rewarded behaviors (e.g. use a certain word), causing the model to act more confidently after exhibiting them. Finally, we apply the value axis to study in-the-wild settings. For example, we find that Qwen assigns low value to politically sensitive chat queries after post-training and that supervised fine-tuning increases internal confidence within the training domain. Our results suggest that language models linearly encode an estimate of expected goal success that modulates their confidence in pursuing a direction.