Does Verbose Chain-of-Thought Really Help? In-Distribution Evidence that Content, Not Length, Matters
作者: Wenlong Wang, Fergal Reid
分类: cs.AI, cs.CL
发布日期: 2026-06-29
备注: ICML Workshop on Efficient Multimodal Question Answering (EMM-QA)
💡 一句话要点
提出基于内容而非长度的推理链优化方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维 大型语言模型 推理能力 内容优化 自然语言处理 实验设计 准确性提升
📋 核心要点
- 现有链式思维提示方法的效果来源不明，存在内容与长度的争议。
- 通过对同一问题的多次采样，比较短长生成的推理链，分析其对模型准确性的影响。
- 实验结果表明，冗长表达能提升准确性，但效果有限，且依赖于内容质量而非长度。
📝 摘要（中文）
链式思维（CoT）提示可以提高大型语言模型（LLM）的推理能力，但其效果来源存在争议。本文通过两个实证研究探讨了推理链的内容与长度对模型表现的影响。首先，通过对同一问题的多次采样，比较了短生成与长生成的准确性，结果显示额外的标记对准确性影响不大，主要取决于验证内容而非冗长性。其次，通过控制实验，验证了相同语义内容的不同冗长表达对结果的影响，发现冗长表达确实能提升准确性，但效果有限，且依赖于表达质量而非长度。最终得出结论：额外标记的作用在于其承载的推理和验证内容，而非数量。
🔬 方法详解
问题定义：本文旨在探讨链式思维提示中，推理链的内容与长度对大型语言模型推理能力的影响。现有方法未能明确区分内容与长度的作用，导致推理效果的理解存在争议。
核心思路：通过对同一问题的多次采样，比较短生成与长生成的推理链，分析其对模型准确性的影响，进而验证冗长表达的实际效果。
技术框架：研究分为两个主要部分：第一部分是对25个模型进行的多次采样实验，第二部分是通过控制实验设计的双验证器方法，比较相同语义内容的不同冗长表达。
关键创新：本研究的创新在于明确了推理链中额外标记的作用在于其承载的推理和验证内容，而非单纯的数量。这一发现挑战了传统的推理链长度重要性的观点。
关键设计：实验中采用了盲分析和分层自助法置信区间来评估冗长表达的效果，确保了结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在32个基准目标单元中，25个在至少一个验证器下表现出正向提升，冗长表达的准确性提升通常在1-4个百分点。特别是在最大数值消除的情况下，效果更为显著，四个算术基准的中位数提升达到3.24倍。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过优化推理链的内容质量，可以提升模型在复杂推理任务中的表现，进而推动智能系统在实际应用中的有效性和可靠性。
📄 摘要（原文）
Chain-of-thought (CoT) prompting improves LLM reasoning, but the source is contested: do the intermediate steps help because they carry useful semantic content, or because conditioning on more tokens buys extra computation before the model commits to an answer? We bring two lines of evidence to bear. First, in distribution: we repeatedly sample each model on the same question and pair a shorter with a longer of its own natural generations that follow the same reasoning plan, so nothing is rewritten and both traces are genuinely in-distribution. Across 25 models the extra tokens leave accuracy essentially unchanged for every independently-trained reasoner, and a blind analysis of the surplus tokens shows that what gain exists elsewhere tracks validation- and checking-content, not verbosity per se. Second, as a controlled intervention, we ask whether two traces expressing the same semantic content (the same facts, operations, and intermediate values, verified through directed acyclic graph equivalence) produce different outcomes when one is more verbose, using a dual-validator design across four targets and eight benchmarks with number-redacted completion and stratified bootstrap confidence intervals. Verbose traces do improve accuracy (25 of 32 benchmark-target cells are positive under at least one validator), but the effects are modest (typically 1-4 points) and depend on the quality of the verbose prose, not merely its length. Under maximum numerical redaction the effect is amplified (median 3.24x across four arithmetic benchmarks), and length-matched non-reasoning filler recovers none of it. Both lines converge: what matters is what the extra tokens do (the reasoning and validation content they carry), not how many there are, a picture neither a pure forward-pass-compute nor a pure semantic-content account fully explains.