LLMs Don't Pay for the Jump
作者: Paras Balani, Subhrakanta Panda
分类: cs.AI, cs.CL
发布日期: 2026-08-14
备注: 14 pages
💡 一句话要点
提出物理成本耦合机制以解决机器推理能力不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理能力 具身模拟 热力学耦合 认知错误 物理成本 复杂推理 机器学习
📋 核心要点
- 现有大型语言模型在进行复杂推理时存在能力不足，尤其是在缺乏具身模拟的情况下。
- 论文提出通过热力学耦合的方式，探讨认知错误与物理成本之间的关系，以此来提升机器的推理能力。
- 实验结果表明，固定权重的变换推理在面对更高难度任务时，输出熵保持不变，准确率显著下降，验证了理论假设。
📝 摘要（中文）
Zahavy（2026）认为大型语言模型虽然具备归纳和演绎能力，但无法进行类似爱因斯坦等效原理的推理，原因在于缺乏具身模拟。Zheng-Xin（2026）和Farmer（2026）质疑具身性是否必要，指出存在不需要感知运动基础的替代推理方式。本文展示归纳和演绎无法产生相关假设，认为其采纳需要认知错误与物理成本之间的耦合。我们通过热力学耦合形式化这一区别，并指出固定权重的变换推理缺乏这种耦合，尽管模型规模不同，输出熵在任务难度增加时几乎不变，准确率却从100%降至17%。因此，我们认为机器推理缺失的关键在于缺乏一种物理机制，使得认知错误的代价足够高以促使修正。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在进行复杂推理时的能力不足，特别是缺乏具身模拟导致的推理局限性。现有方法未能有效处理认知错误与物理成本之间的关系。
核心思路：论文的核心思路是通过热力学耦合来形式化认知错误与物理成本的关系，认为这种耦合是推动机器修正推理的关键因素。
技术框架：整体架构包括对现有推理模型的分析、热力学耦合的形式化以及实验验证。主要模块包括模型推理、耦合机制分析和实验结果评估。
关键创新：最重要的技术创新在于引入热力学耦合的概念，强调认知错误的物理成本对推理能力的影响，这与传统的推理模型设计有本质区别。
关键设计：在设计中，考虑了模型的固定权重设置、损失函数的选择以及如何在实验中评估输出熵与准确率的关系等技术细节。通过这些设计，确保了理论与实验结果的一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，固定权重的变换推理在任务难度增加时，输出熵几乎保持不变，准确率从100%降至17%。这一发现验证了热力学耦合理论的有效性，强调了认知错误与物理成本之间的关系。
🎯 应用场景
该研究的潜在应用领域包括智能推理系统、自动化决策支持和复杂问题解决等。通过引入物理成本的概念，可以提升机器在处理复杂推理任务时的能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Zahavy [2026] argues that Large Language Models, despite their capabilities in induction and deduction, cannot perform the abductive "Jump" that produced Einstein's equivalence principle, and attributes this limitation to the absence of embodied simulation. Zheng-Xin [2026] and Farmer [2026] question whether embodiment is necessary for abduction, pointing to alternative routes to General Relativity and forms of abduction that require no sensorimotor grounding. Max Planck resolved the blackbody radiation problem in 1900. Planck's move to E = hν required no embodied simulation. It was motivated by a mathematical consequence of classical theory, an infinite predicted energy for a finite measured quantity, that could not be physically accepted. We show that neither induction nor deduction could have produced the postulate and argue that its adoption required a coupling between epistemic error and physical cost. We formalize this distinction through thermodynamic coupling and show that fixed-weight transformer inference lacks such coupling, regardless of model scale. This is consistent with empirical results showing that output entropy remains nearly unchanged across tasks with sharply increasing causal difficulty, even as accuracy falls from 100% to 17%. We therefore argue that the missing ingredient in machine abduction may lie deeper than embodiment: a system must have some physical mechanism through which epistemic error becomes costly enough to force revision.