Memory Augmentation Unlocks Efficient Chain-of-Thought Reasoning
作者: Simeng Zhang, Yilong Chen, Wenyuan Zhang, Zhenyu Zhang, Yao Chen, Junyuan Shang, Tingwen Liu
分类: cs.CL
发布日期: 2026-08-21
💡 一句话要点
提出记忆增强压缩以解决链式思维推理效率问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 链式思维推理 记忆增强 推理效率 模型压缩 自然语言处理
📋 核心要点
- 现有的链式思维推理方法在处理复杂任务时，推理过程冗长导致推理效率低下。
- 本文提出记忆增强压缩，通过构建可重用的推理记忆来优化推理过程，减少信息损失。
- 实验结果显示，该方法在多个任务上显著提高了准确性，并在推理速度上实现了1.14到1.49倍的加速。
📝 摘要（中文）
大型语言模型通常依赖链式思维（CoT）推理来解决复杂任务，但冗长的推理过程会引入显著的推理开销。尽管CoT压缩可以缩短生成时间，但过度压缩可能会破坏逻辑一致性并降低性能。本文将这一权衡形式化为“上下文-生成替代法则”，提出了一种无训练框架——记忆增强压缩，通过构建可重用的推理记忆来补偿压缩过程中丢失的信息。实验表明，该方法在数学推理、复杂推理和科学问答任务中均显著提高了准确性，并在推理速度上实现了加速。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在复杂任务中链式思维推理效率低下的问题。现有方法在推理过程中产生的冗长推理轨迹导致显著的推理开销，影响了模型的实际应用。
核心思路：提出记忆增强压缩的核心思路是构建可重用的推理记忆，这些记忆从历史推理轨迹中提取，作为生成过程中的辅助信息，以弥补压缩过程中丢失的关键信息。
技术框架：该方法的整体架构包括两个主要模块：首先是推理记忆的构建模块，从历史数据中提取可重用的推理模式；其次是记忆检索模块，在生成过程中动态检索这些记忆作为上下文信息，辅助推理。
关键创新：最重要的技术创新在于引入了“上下文-生成替代法则”，通过将显式的推理上下文替代部分生成过程，从而实现了更高效的推理。与现有方法相比，该方法不仅提高了推理效率，还保持了逻辑一致性。
关键设计：在技术细节上，记忆增强压缩不需要额外的训练过程，且兼容多种压缩机制，包括基于令牌、推理轨迹和推理状态的压缩。
🖼️ 关键图片
📊 实验亮点
实验结果显示，记忆增强压缩在GSM8K、MATH、BBH和MMLU-Sci等任务上，准确性分别提高了21.4、28.0、29.5和6.61个百分点，同时实现了1.14到1.49倍的推理速度提升，显著优于传统的链式思维推理方法。
🎯 应用场景
该研究的潜在应用领域包括教育、科学研究和复杂决策支持等场景。通过提高推理效率和准确性，记忆增强压缩可以帮助用户更快速地获取信息和做出决策，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Large language models often rely on Chain-of-Thought (CoT) reasoning to solve complex tasks, but verbose reasoning traces introduce substantial inference overhead. CoT compression shortens generation, yet aggressive compression may disrupt logical coherence and degrade performance. We formalize this trade-off as the \textit{Context-Generation Substitution Law}, where explicit reasoning context substitutes for part of decode-time generation. Based on this principle, we propose \textit{Memory-Augmented Compression}, a training-free framework that constructs reusable reasoning memories from historical traces and retrieves them as prefill-side scaffolds. Rather than using raw demonstrations, these memories summarize reusable reasoning patterns, key constraints, and critical operations to compensate for information lost during compression. Experiments show that Memory consistently improves prompt-based Chain-of-Draft (CoD) compression across mathematical reasoning, complex reasoning, and science question answering tasks, yielding accuracy gains of 21.4, 28.0, 29.5, and 6.61 points over CoD on GSM8K, MATH, BBH, and MMLU-Sci, while achieving a 1.14--1.49$\times$ latency speedup over standard CoT. Memory is also compatible with token-level, reasoning-trace-level, and inference-state compression mechanisms. Further analyzes show that the gains come from relevant reasoning memories rather than simply increasing context length.