How Much Does a Reasoning Summary Reveal? An Observability Ladder for Large Language Models
作者: Andres Algaba, Francesca Carlon, Lynn Delcon, Marthe Ballon, Bert Verbruggen, Vincent Ginis
分类: cs.LG, cs.AI
发布日期: 2026-08-03
备注: 71 pages, 13 figures, 65 tables
💡 一句话要点
提出可观察性阶梯以评估大型语言模型的推理透明度
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理透明度 可观察性阶梯 模型评估 信号强度
📋 核心要点
- 现有大型语言模型的推理过程往往不透明，用户难以判断答案的正确性。
- 本文提出的可观察性阶梯通过不同的检查层级，帮助用户更好地理解模型的推理过程。
- 实验结果显示，在没有提示的情况下，推理摘要的信号强度显著高于仅依赖响应的情况。
📝 摘要（中文）
大型语言模型通常向用户展示最终响应和简短的推理摘要，而完整的推理过程则被隐藏。本文提出了一种可观察性阶梯，固定每个完成的运行，仅变化读者检查的内容，以判断答案的正确性：响应、自我摘要、推理过程及内部信号。通过对三个基准和五个开放权重模型的实验，发现摘要在没有提示的情况下携带了大部分推理过程的排名信号，且在有提示的情况下，摘要的增益显著降低。这表明，监控能力是显示和读者的共同属性，任何监控能力的声明都应同时考虑这两者。
🔬 方法详解
问题定义：本文旨在解决大型语言模型推理过程不透明的问题，现有方法无法有效帮助用户判断答案的正确性。
核心思路：提出可观察性阶梯，通过不同的检查层级（响应、摘要、推理过程等）来评估模型的推理透明度，以便用户更好地理解模型的决策过程。
技术框架：整体架构包括固定的模型运行，用户可以选择不同的检查层级进行评估。主要模块包括响应、模型自我摘要、完整推理过程和内部信号。
关键创新：最重要的创新点在于引入了可观察性阶梯的概念，允许用户在不同层级上评估模型的推理能力，与现有方法相比，提供了更细致的透明度分析。
关键设计：在实验中，使用了线性正确性预测器，评估不同检查层级的信号强度，特别关注摘要和推理过程的长度对信号的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在没有提示的情况下，摘要的平均AUROC为0.774，显著高于仅依赖响应的0.613，且在有提示的情况下，摘要的增益降至0.019，而推理过程仍保持0.041的增益。这表明推理过程在监控正确性方面的优势。
🎯 应用场景
该研究的潜在应用领域包括教育、医疗和法律等需要高透明度和可解释性的人工智能系统。通过提高用户对模型推理过程的理解，可以增强用户信任，促进更广泛的应用。未来，随着模型的不断发展，该方法有望为各种复杂决策场景提供支持。
📄 摘要（原文）
Large language models often show users a final response and a short reasoning summary while the full reasoning trace stays hidden. We introduce an observability ladder that holds each completed run fixed and varies only what a reader inspects to judge whether the answer is correct: the response, a self-summary the model writes from the trace, the trace itself, and internal signals, each with and without the prompt. Across three benchmarks and five open-weight Qwen3 and gpt-oss models, we train matched linear correctness predictors on each access level. Without the prompt, summaries carry most of the trace's ranking signal (mean AUROC 0.774 versus 0.813) and add +0.156 over the response alone. With the prompt visible, the summary's gain collapses to +0.019, while the trace still adds +0.041. Even at equal length, the trace's last words predict correctness as well as summaries, or slightly better, and carry denser and more discriminative uncertainty and self-correction cues. On MMLU-Pro questions with both correct and incorrect runs, linear summary readers are near chance and trace readers retain only modest signal, both with and without the prompt (prompt-withheld AUROC 0.503-0.545 versus 0.544-0.590). With the prompt withheld, a GPT-5-mini reader recovers substantially more signal from both summaries and traces on gpt-oss-20b, and even then the trace keeps a small +0.034 advantage. Much of the linear readers' trace signal is associated with length. In the common case where users already hold the prompt, summaries are less helpful than the full trace for monitoring correctness. Monitorability is thus a joint property of the display and the reader, so any monitorability claim, including for faithfulness, should specify both.