The First Few Tokens Matter: Understanding Chain-of-Thought Controllability
作者: Hugh Van Deventer, Dmitrii Troitskii, Laura Ruis
分类: cs.AI
发布日期: 2026-10-29
备注: 20 pages, 15 figures
💡 一句话要点
提出基于初始令牌干预的链式思维可控性提升方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 可控性 推理过程 初始令牌 熵崩溃 智能体 信息添加 风格控制
📋 核心要点
- 现有链式思维模型在推理过程中对表达内容的控制能力有限，导致可控性不足。
- 论文提出通过对初始令牌进行预填充和禁止频繁开头令牌的干预，来提升链式思维的可控性。
- 实验结果显示，这些干预措施使得模型在信息添加和风格控制方面的合规性提高了34-41个百分点。
📝 摘要（中文）
链式思维（CoT）监控是一种有效监督日益强大的智能体的方法，但现有模型在控制推理过程中的表达能力上存在局限。本文探讨了这一局限的来源，并将其与开头思维标签后初始令牌的熵崩溃联系起来。通过对初始令牌的两种推理时干预——预填充和禁止频繁开头令牌，显著提高了可控性。实验结果表明，这些干预措施在信息添加和风格控制方面表现良好，而抑制控制则反应不一，提示存在不同的机制。研究结果为可控性评估的进一步发展提供了动力，强调了区分特定开头启动困难与一般推理内容改变能力的必要性。
🔬 方法详解
问题定义：本文旨在解决链式思维模型在推理过程中对表达内容的控制能力不足的问题。现有方法在初始令牌的选择上存在熵崩溃现象，导致可控性降低。
核心思路：通过对初始令牌进行干预，具体包括预填充和禁止频繁开头令牌，来恢复链式思维的可控性。这种设计旨在通过改变初始令牌的选择来影响后续推理过程的输出。
技术框架：整体架构包括两个主要阶段：首先是对初始令牌进行预填充，使用单个令牌显著提高可控性；其次是禁止使用频繁的开头令牌，并结合上下文示例以提升合规性。
关键创新：最重要的创新在于识别并利用初始令牌的熵崩溃现象，通过干预措施显著提升了模型的可控性，尤其是在信息添加和风格控制方面。与现有方法相比，本文提出的干预策略能够更有效地引导模型的推理过程。
关键设计：在实验中，采用了不同的初始令牌组合，并通过对比实验评估了不同干预措施的效果。损失函数和网络结构的具体细节未在摘要中详细说明，需参考论文的完整内容。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过预填充和禁止频繁开头令牌的干预，模型在信息添加和风格控制方面的合规性提高了34-41个百分点。这一提升在不同模型间表现一致，显示出干预措施的有效性和普适性。
🎯 应用场景
该研究的潜在应用领域包括智能对话系统、自动化推理工具和教育技术等。通过提升模型的可控性，可以更好地满足用户需求，提供更准确和符合预期的推理结果。未来，该方法可能在多种智能体的开发中发挥重要作用，推动人机交互的进步。
📄 摘要（原文）
Chain-of-thought (CoT) monitoring is a promising way to oversee increasingly capable agents. It succeeds in part because current models appear limited in their ability to control what they verbalize in their reasoning traces. We investigate the source of this limitation and link it to an entropy collapse in the first few tokens following the opening thinking tag. We exploit this mechanism to recover CoT controllability through two inference-time interventions on initial tokens: prefilling, where even a single token can substantially increase controllability, and banning frequent opening tokens combined with in-context examples, which improves average compliance by 34-41 percentage points across models. These interventions recover mainly addition and style controllability (adding or transforming information), while suppression controllability (avoiding or removing information) exhibits more varied responses, suggesting distinct underlying mechanisms. Consistent with this, the two groups behave as separate capabilities: across models, performance correlates positively within these groups, while cross-group correlations are mostly negative. Importantly, we find that the relationship with monitorability depends on the evaluation: addition and style controllability more consistently positively correlate with monitorability, while suppression often shows negative associations. Our findings motivate the development of controllability evaluations that distinguish difficulty initiating a specific opening from general limitations of the ability to alter reasoning content, alongside separate reporting of control tasks and categories.