Transformers Struggle to Use Their Emergent World Models: Revisiting the Tower of Hanoi, and the Illusion of Thinking
作者: Devin Pereira, Willem Zuidema
分类: cs.AI, cs.LG
发布日期: 2026-08-07
💡 一句话要点
提出新方法分析变压器在汉诺塔问题中的表现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 汉诺塔问题 变压器模型 推理能力 世界模型 可解释性技术 模型维护 人工智能
📋 核心要点
- 现有的大型推理模型在解决汉诺塔问题的平面到平面变体时表现不佳，尤其是在环数超过三时。
- 论文通过训练小型变压器并分析其表现，提出了新兴世界模型的概念，以解释模型的推理过程。
- 研究发现，尽管大型模型能够编码世界模型，但在推理过程中未能有效维护该表示，导致性能下降。
📝 摘要（中文）
汉诺塔是一个简单的规划难题，之前的研究表明大型推理模型在解决该问题时面临挑战。虽然当前模型能够解决标准形式的汉诺塔，但在平面到平面变体中仍然存在困难。本文深入研究了小型变压器和大型推理模型在解决该任务时的表现。通过训练小型变压器并使用可解释性技术，发现它们发展出了一种新兴的世界模型，能够有效表示汉诺塔的状态空间。对于大型模型，尽管它们在提示结束时几乎完美地编码了世界模型，但在处理超过三个环的任务时仍然失败。研究表明，模型的失败源于对世界模型表示的维护问题，而非缺失，这为理解模型性能下降提供了新的视角。
🔬 方法详解
问题定义：本文聚焦于汉诺塔问题，尤其是平面到平面变体，现有大型推理模型在此任务中表现不佳，尤其是在环数超过三时，导致解决方案失败。
核心思路：通过训练小型变压器并使用可解释性技术，研究者发现这些模型能够发展出一种新兴的世界模型，该模型有效地表示了汉诺塔的状态空间，并在解决问题时起到了关键作用。
技术框架：整体架构包括两个主要阶段：首先训练小型变压器以学习预计算的解决方案轨迹；其次对大型推理模型进行分析，探讨其在推理过程中的表现和失败原因。
关键创新：本文的创新在于提出了新兴世界模型的概念，强调了模型在推理过程中对状态表示的维护问题，而非简单的缺失。
关键设计：在训练过程中，采用了多种可解释性技术来分析模型的表现，关键参数设置和损失函数的选择旨在优化模型对汉诺塔状态的表示和推理能力。通过注入提示时间的表示，研究者能够部分恢复模型的性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，小型变压器能够有效地发展出新兴世界模型，而大型模型在处理超过三个环的任务时表现不佳，尽管它们在提示结束时几乎完美地编码了世界模型。通过注入提示时间的表示，模型性能得到了部分恢复，表明维护表示的重要性。
🎯 应用场景
该研究的潜在应用领域包括人工智能推理系统、机器人规划和决策支持系统。通过理解模型在复杂任务中的表现，可以为未来的模型设计提供指导，提升其在实际应用中的可靠性和效率。
📄 摘要（原文）
The Tower of Hanoi is a simple planning puzzle that in prior work has proven challenging for large reasoning models (LRMs). Current models solve the standard formulation of the puzzle, but still struggle with the flat-to-flat variant (where initial and goal states are not restricted to have all rings on a single peg). This paper presents an in-depth study of how both small, in-house Transformers and large, third-party LRMs solve this task. To understand the failures mechanistically, we first train small Transformers from scratch on precomputed solution traces. Using a variety of interpretability techniques, we show that these Transformers develop an emergent world model: a linearly decodable, geometrically faithful representation of the puzzle's state space (the Sierpinski triangle), that is causally involved in solving the puzzles. Second, we return to the large LLMs and apply our techniques to two frontier reasoning models, Qwen3.6-27B and DeepSeek-R1-Distill-Qwen-32B, that attempt to solve the task through extended chain-of-thought. Surprisingly, we find that both models encode the Sierpinski world model near-perfectly at the end of the prompt, and yet fail at the majority of tasks when there are more than 3 rings. We locate the source of this failure in the decaying representation of the world model. We probe for the representation at different stages during planning, and establish causality by showing that performance can be improved by injecting the prompt-time representation at inference. The failure of the models is thus one of maintenance of the required representations, not their absence, and performance is at least partially recoverable. These results thus reframe the reported collapse in performance from prior work: current Large Reasoning Models build a world model, and then lose it.