Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
作者: Kevin Du, Alexander Hoyle, Laura Ruis, Acyr Locatelli
分类: cs.CL, cs.LG
发布日期: 2026-09-03
备注: Published at COLM 2026
💡 一句话要点
提出基于优势评估的推理步骤重要性分析方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式推理 可解释性 推理步骤 优势评估 蒙特卡洛方法 大型语言模型 过程奖励建模
📋 核心要点
- 现有方法过于依赖推理轨迹的可读性，未能准确反映推理步骤的重要性。
- 本文通过蒙特卡洛回滚法定义推理步骤的优势，评估其对最终答案的影响。
- 实验结果表明，LLM在识别高优势步骤方面表现优于基线，但仍有改进空间，尤其是在正确响应的情况下。
📝 摘要（中文）
链式推理模型的推理轨迹提供了模型如何得出答案的可读窗口。尽管已有研究将其视为可解释性工具，但本文质疑推理步骤的文本是否真正编码了其重要性。我们通过蒙特卡洛回滚法评估推理步骤的优势，并发现尽管大型语言模型（LLM）在识别高优势步骤方面表现优于基线，但仍未达到最佳性能。此外，模型的微调在错误响应上有显著改善，但在正确响应上仍有提升空间。这些发现对链式推理的可解释性提出了警示，尤其是在过程奖励建模的背景下。
🔬 方法详解
问题定义：本文旨在解决推理轨迹的可读性与实际重要性之间的差距。现有方法未能有效识别推理步骤对最终答案的贡献，导致可解释性不足。
核心思路：我们通过将推理步骤的重要性定义为其优势，即包含该步骤对期望奖励的影响，来评估其实际重要性。这一方法通过蒙特卡洛回滚法进行估算，提供了一种量化推理步骤价值的新视角。
技术框架：研究流程包括数据收集、推理步骤优势计算、LLM评估和结果分析。首先，收集推理轨迹数据，然后计算每个步骤的优势，最后使用LLM判断步骤的重要性并与实际优势进行对比。
关键创新：本文的主要创新在于将推理步骤的重要性量化为其优势，并通过实验验证了LLM在识别这些步骤方面的能力。这一方法与传统的基于文本的可解释性分析有本质区别。
关键设计：在实验中，我们设置了多个参数以优化LLM的微调过程，使用了特定的损失函数来增强模型对错误响应的敏感性，同时保持对正确响应的评估能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过微调的LLM在识别高优势推理步骤时的表现优于基线，但在正确响应的识别上仍有提升空间，未达到最佳性能。这表明推理步骤的重要性并非完全可从文本中恢复，提示未来研究需关注这一领域的深入探索。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型可解释性、教育领域的智能辅导系统以及医疗决策支持系统。通过更准确地识别推理步骤的重要性，能够提升模型的透明度和信任度，从而在实际应用中产生更大的价值。
📄 摘要（原文）
Reasoning traces from chain-of-thought models appear to offer a legible window into how a model arrives at its answer. A growing body of work treats them as such, using LLM judges to diagnose errors, evaluate faithfulness, and provide step-level supervision via process reward models and generative critics. These practices rely on the text of a reasoning step carrying information about its functional role. But does the text actually encode information about which reasoning steps matter? We operationalize the importance of a reasoning step as its advantage: the change in expected reward, e.g., producing the correct final answer, from including that step, estimated via Monte Carlo rollouts. Basing ground truth on these estimates, we evaluate whether LLM judges can identify high-advantage steps and find that sufficiently capable LLMs can outperform a prevalence baseline but fall well short of a noise ceiling. Fine-tuning a model as a step-level critic yields strong improvement for incorrect responses but remains distant from ceiling for correct responses, suggesting that step importance is only partially recoverable from the text of the reasoning trace. Our findings contribute to a growing body of chain-of-thought faithfulness work that cautions against treating the legibility of reasoning traces as interpretability, especially with implications for process reward modeling.