Intertemporal Preference Steering in Qwen3 via Contrastive Activation Addition
作者: Michal Mráz, Justin Shenk
分类: cs.AI
发布日期: 2026-08-04
💡 一句话要点
通过对比激活添加实现Qwen3的时间偏好引导
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 时间偏好 对比学习 激活引导 决策支持 大型语言模型
📋 核心要点
- 现有方法在处理时间相关偏好时缺乏有效的引导机制，导致模型在短期与长期决策中表现不佳。
- 论文提出通过对比线性探针识别模型的时间视野方向，并利用对比激活添加技术进行偏好引导。
- 实验结果显示，模型在超出分布的货币选择任务中，偏好引导显著改变了无差异阈值，并在规划能力指标上有所提升。
📝 摘要（中文）
本研究探讨了大型语言模型Qwen3-32B中时间视野的线性表示，并利用这些表示改变模型的时间相关偏好、推荐和能力。我们在教师强制的时间选择答案上训练对比线性探针，以识别模型残差流中的短期与长期方向，并在保留的二元时间选择任务、超出分布的货币时间选择任务和旅行规划能力基准上评估对比激活添加引导。核心结果表明，时间视野方向可以通过简单的对比线性探针识别，并用于引导以诱导大规模的双向偏好变化。在一个变化奖励大小和延迟的超出分布的货币选择任务中，引导显著改变了模型在较小较早和较大较晚奖励之间的无差异阈值。我们进一步展示了在适度时间引导下，规划相关能力指标的改善。这些结果表明，模型的时间偏好是可测量和可引导的，这对涉及延迟成本和收益的AI系统以及长远规划的安全性问题具有重要意义。
🔬 方法详解
问题定义：本研究旨在解决大型语言模型在时间相关决策中的偏好引导问题。现有方法在短期与长期决策中表现不佳，缺乏有效的引导机制。
核心思路：本研究的核心思路是利用对比线性探针识别模型的时间视野方向，并通过对比激活添加技术进行偏好引导，从而实现模型在时间选择任务中的性能提升。
技术框架：整体架构包括三个主要模块：首先，训练对比线性探针以识别时间视野方向；其次，应用对比激活添加技术进行偏好引导；最后，在多个任务上评估模型性能，包括二元时间选择任务和货币选择任务。
关键创新：本研究的关键创新在于通过简单的对比线性探针识别时间视野方向，并利用此方向进行有效的偏好引导。这一方法与现有的复杂引导机制形成鲜明对比，具有更高的可操作性。
关键设计：在实验中，采用了特定的损失函数来优化对比线性探针的训练，并设计了适当的网络结构以支持对比激活添加的实现。具体参数设置和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过对比激活添加引导，模型在超出分布的货币选择任务中无差异阈值的改变幅度显著，表现出强烈的双向偏好变化。此外，在规划相关能力指标上，模型在适度时间引导下也取得了明显的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能推荐系统、决策支持系统以及涉及延迟成本和收益的AI系统。通过引导模型的时间偏好，可以提高其在复杂决策场景中的表现，增强用户体验和决策质量。未来，这一方法可能对长远规划和安全性问题的研究产生深远影响。
📄 摘要（原文）
We study linear representations of temporal horizon in the large language model Qwen3-32B and use them to change the model's time-related preferences, recommendations, and capabilities. We train contrastive linear probes on teacher-forced temporal-choice answers to find a short-term versus long-term direction in the model's residual stream, and evaluate contrastive activation-addition steering on a held-out binary temporal-choice task, an out-of-distribution monetary intertemporal-choice task, and a TravelPlanner capability benchmark. The central result is that temporal-horizon directions can be identified with simple contrastive linear probes and then used for steering to induce large, bidirectional preference changes. On an out-of-distribution monetary choice task that varies reward size and delay, steering strongly shifts the model's indifference threshold between smaller-sooner and larger-later rewards in both directions. We further show improvements on a planning-related capability metric under moderate temporal steering. These results suggest that model intertemporal preferences are measurable and steerable, which is relevant for AI systems that give advice involving delayed costs and benefits, and for safety questions about long-horizon planning.