Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization
作者: Kanishk Awadhiya
分类: cs.LG
发布日期: 2026-06-23
备注: Accepted at ICLR Workshop 2026
💡 一句话要点
提出基于吉布斯加权能量最小化的推理吸引子动态机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理机制 吉布斯测度 能量最小化 吸引子动态 关联记忆 自然语言处理
📋 核心要点
- 现有方法将大型语言模型视为自回归生成器，未能充分利用其作为关联记忆的特性，导致推理性能不足。
- 论文提出了一种基于吉布斯加权能量最小化的检索机制，通过采样和加权推理路径，优化推理过程。
- 实验证明，该方法在GSM8K数据集上显著提升了Microsoft Phi-3.5的性能，验证了其有效性。
📝 摘要（中文）
大型语言模型（LLMs）通常被视为自回归生成器。然而，从集体计算的角度来看，它们实际上作为高维密集关联记忆，存储复杂的推理模式作为潜在吸引子。本文研究了数学推理的能量景观，认为正确的推理链对应于模型输出分布中的深、宽吸引子盆地（“平坦极小值”），而幻觉则表现为尖锐、不稳定的局部极小值。为利用这种几何特性，本文引入了一种基于吉布斯测度的检索机制，通过对多个推理路径进行采样并按其逆能量加权，近似关联记忆的平衡分布，有效地“放松”系统至稳健解。实验证明，该物理启发机制使Microsoft Phi-3.5在GSM8K上的表现提升了5.38%（从84.7%提升至90.1%），表明推理更适合建模为动态收敛过程，而非贪婪的下一个标记预测。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在推理过程中的性能不足，现有方法未能充分利用模型的关联记忆特性，导致推理结果不稳定。
核心思路：论文提出将推理视为动态收敛过程，利用吉布斯测度对推理路径进行加权，从而优化模型输出的能量分布，达到更稳健的推理结果。
技术框架：整体框架包括多个阶段：首先，采样多个推理路径；其次，计算每条路径的能量并进行加权；最后，通过逆能量加权近似平衡分布，实现推理的“放松”。
关键创新：最重要的创新在于将推理过程视为吸引子动态，提出了基于能量景观的检索机制，与传统的贪婪预测方法有本质区别。
关键设计：关键参数包括吉布斯测度的温度参数β，损失函数设计为能量最小化，网络结构则依赖于大型语言模型的输出分布特性。通过这些设计，模型能够更有效地收敛至正确的推理结果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于吉布斯加权能量最小化的推理机制使Microsoft Phi-3.5在GSM8K数据集上的性能提升了5.38%，从84.7%提升至90.1%。这一显著提升验证了新方法在推理过程中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、智能问答系统和教育技术等。通过提升推理能力，模型能够更准确地理解和生成复杂的语言结构，进而在实际应用中提供更高质量的服务。未来，该方法可能推动更广泛的智能系统发展，提升人机交互的智能化水平。
📄 摘要（原文）
Large Language Models (LLMs) are traditionally viewed as autoregressive generators. However, from the perspective of collective computation, they function as high-dimensional Dense Associative Memories that store complex reasoning patterns as latent attractors. In this work, we investigate the energy landscape of mathematical reasoning. We posit that correct reasoning chains correspond to deep, wide attractor basins ("flat minima") in the model's output distribution, whereas hallucinations manifest as sharp, unstable local minima. To exploit this geometry, we introduce a retrieval mechanism based on a Gibbs measure of the trajectory's spectral entropy. By sampling multiple reasoning paths and weighting them by their inverse energy ($P \propto e^{-βE}$), we approximate the equilibrium distribution of the associative memory, effectively ``relaxing'' the system into a robust solution. Empirically, this physics-inspired mechanism improves Microsoft Phi-3.5 performance on GSM8K by 5.38\% (84.7\% $\to$ 90.1\%), demonstrating that inference is better modeled as a dynamic settling process into an attractor basin rather than greedy next-token prediction.