Where Do CoT Training Gains Land in LLM based Agents?

作者: Jingyu Liu, Zhiwen Wang, Yuxin Jing, Huanyu Zhou, Yong Liu

分类: cs.AI

发布日期: 2026-06-25

💡 一句话要点

提出CoT训练方法以提升语言模型代理的行动预测能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 链式思维 语言模型 行动预测 训练策略 泛化能力

📋 核心要点

现有的CoT推理方法在某些情况下表现出事后推理的特征，导致模型的行动预测能力受到质疑。
论文通过比较使用和不使用CoT的行动预测，探讨CoT训练对模型能力的实际影响，提出选择性屏蔽行动标记的训练方法。
实验结果显示，提示行动质量显著提高，且域外泛化能力得到改善，表明新的训练策略有效提升了模型的性能。

📝 摘要（中文）

链式思维（CoT）推理在语言模型代理中被广泛应用，但先前研究表明，口头化的CoT并不总是可靠，可能反映的是事后推理。本文探讨CoT训练的实际改善：模型是通过生成推理改善行动变化，还是直接从提示中预测行动。通过比较不使用CoT的提示行动与使用CoT的行动，发现提示行动的质量显著提高，而CoT行动的相对优势保持不变，表明CoT训练并未扩大CoT推理的优势，但提升了提示行动的质量。此外，后期检查点在响应CoT时更少修正行动，显示出对提示的更大依赖。基于这些发现，论文通过选择性屏蔽部分训练样本的行动标记监督，改善了域外泛化能力。

🔬 方法详解

问题定义：本文旨在解决CoT训练对语言模型代理的实际影响，尤其是其在行动预测中的有效性。现有方法存在依赖事后推理的问题，导致模型在真实环境中的表现不佳。

核心思路：论文提出通过比较不使用CoT的提示行动与使用CoT的行动，分析CoT训练的真实效果，并通过选择性屏蔽部分训练样本的行动标记来改善模型的泛化能力。

技术框架：研究首先对比两种行动预测方式的性能，然后在训练过程中实施选择性屏蔽，最后评估模型在不同检查点的表现。主要模块包括数据准备、模型训练和性能评估。

关键创新：论文的创新在于揭示了CoT训练并未显著提升CoT推理的优势，而是提高了提示行动的质量，并通过新的训练策略改善了模型的泛化能力。

关键设计：在训练过程中，选择性屏蔽行动标记的策略是关键设计之一，此外，模型的检查点选择和性能评估方法也经过精心设计，以确保结果的可靠性。

🖼️ 关键图片

fig_0

fig_1

fig_2

📊 实验亮点

实验结果表明，提示行动的质量在不同检查点上显著提高，而CoT行动的相对优势保持不变。通过选择性屏蔽行动标记的训练方法，模型在域外泛化能力上得到了明显改善，展示了新的训练策略的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化决策系统和教育技术等。通过提升语言模型在复杂环境中的行动预测能力，能够更好地支持人机交互和自动化任务，具有重要的实际价值和未来影响。

📄 摘要（原文）

Chain-of-thought (CoT) reasoning is widely used in language-model agents, but prior work has shown that verbalized CoT is not always faithful and may instead reflect post-hoc reasoning, which means the model already knows the answer before reasoning. We therefore ask what CoT training is actually improving: is the model getting better at changing its action through generated reasoning, or is it getting better at predicting the action directly from the prompt? We study this question by comparing \emph{prompt actions} (predicting action without CoT) with CoT actions (predicting action with CoT). Across checkpoints, prompt-action quality improves substantially. While interacting with the environment, the relative advantage of CoT actions over prompt actions remains similar, showing that CoT training does not widen the advantage of CoT reasoning, and it helps to improve the quality of prompt actions. We further find that later checkpoints are less likely to revise the action in response to CoT, suggesting greater reliance on the prompt. Motivated by these patterns, we selectively mask action-token supervision on a fraction of training examples. This intervention improves out-of-domain generalization.