Symbol-Equivariant Recurrent Reasoning Models

📄 arXiv: 2603.02193v1 📥 PDF

作者: Richard Freinschlag, Timo Bertram, Erich Kobler, Andreas Mayr, Günter Klambauer

分类: cs.LG, cs.AI, stat.ML

发布日期: 2026-03-02

🔗 代码/项目: GITHUB

💡 一句话要点

提出符号等变循环推理模型，提升神经推理的泛化性和鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号等变性 循环推理模型 神经推理 泛化能力 鲁棒性 Sudoku ARC-AGI

📋 核心要点

  1. 现有循环推理模型(RRMs)在处理符号对称性时依赖昂贵的数据增强，限制了其泛化能力。
  2. SE-RRMs通过引入符号等变层，在模型架构层面强制执行置换等变性，从而显式地处理符号对称性。
  3. 实验表明，SE-RRMs在Sudoku和ARC-AGI任务上表现出更强的泛化能力和鲁棒性，且参数量更少。

📝 摘要（中文）

针对Sudoku和ARC-AGI等推理问题对神经网络的挑战，本文提出了符号等变循环推理模型(SE-RRMs)。SE-RRMs通过符号等变层在架构层面强制执行置换等变性，保证在符号或颜色置换下获得相同的解。该方法是对包括分层推理模型(HRM)和微型递归模型(TRM)在内的循环推理模型(RRMs)的改进，后者只能通过昂贵的数据增强隐式地处理符号对称性。实验表明，SE-RRMs在9x9 Sudoku上优于先前的RRMs，并能从9x9推广到更小的4x4和更大的16x16和25x25实例，而现有RRMs无法外推。在ARC-AGI-1和ARC-AGI-2上，SE-RRMs以更少的数据增强和仅200万参数实现了具有竞争力的性能，证明了显式编码对称性提高了神经推理的鲁棒性和可扩展性。

🔬 方法详解

问题定义：论文旨在解决循环推理模型(RRMs)在处理具有符号对称性的推理问题（如Sudoku和ARC-AGI）时，依赖大量数据增强的问题。现有RRMs无法有效利用问题本身的对称性，导致泛化能力受限，尤其是在不同规模的问题实例上。

核心思路：论文的核心思路是在模型架构中显式地编码符号等变性。通过设计符号等变层，使得模型对于输入符号的置换保持输出结果的不变性。这样，模型就能更好地理解问题的内在结构，从而减少对数据增强的依赖，提高泛化能力。

技术框架：SE-RRMs沿用了循环推理模型的整体框架，但关键在于引入了符号等变层。整体架构包括输入编码、循环推理和输出解码三个主要阶段。输入编码将问题表示为初始状态，循环推理阶段通过多个循环迭代更新状态，最后输出解码将最终状态转换为问题的解。符号等变层被嵌入到循环推理阶段，用于处理状态更新。

关键创新：最重要的技术创新点是符号等变层的设计。该层通过特定的数学运算，保证了模型输出对于输入符号置换的等变性。与传统RRMs隐式地通过数据增强学习对称性不同，SE-RRMs直接在架构层面强制执行对称性约束，从而提高了模型的效率和泛化能力。

关键设计：符号等变层的具体实现依赖于问题的特点。例如，在Sudoku中，可以使用置换矩阵来表示符号的置换，然后通过将状态向量与置换矩阵相乘来实现等变性。损失函数通常采用交叉熵损失，用于衡量模型预测结果与真实解之间的差异。循环推理阶段的迭代次数和隐藏层大小是重要的超参数，需要根据具体问题进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SE-RRMs在9x9 Sudoku上超越了先前的RRMs，并且能够泛化到更小（4x4）和更大（16x16, 25x25）的Sudoku实例，而现有RRMs无法做到这一点。在ARC-AGI-1和ARC-AGI-2上，SE-RRMs仅使用200万参数和更少的数据增强就实现了与现有方法具有竞争力的性能，证明了其高效性和泛化能力。

🎯 应用场景

该研究成果可应用于各种需要进行符号推理的场景，例如自动化解题器、程序合成、机器人规划等。通过显式地编码对称性，可以提高模型的鲁棒性和泛化能力，使其能够更好地适应不同的问题实例和环境变化。此外，该方法还可以减少对大量训练数据的依赖，降低模型的训练成本。

📄 摘要（原文）

Reasoning problems such as Sudoku and ARC-AGI remain challenging for neural networks. The structured problem solving architecture family of Recurrent Reasoning Models (RRMs), including Hierarchical Reasoning Model (HRM) and Tiny Recursive Model (TRM), offer a compact alternative to large language models, but currently handle symbol symmetries only implicitly via costly data augmentation. We introduce Symbol-Equivariant Recurrent Reasoning Models (SE-RRMs), which enforce permutation equivariance at the architectural level through symbol-equivariant layers, guaranteeing identical solutions under symbol or color permutations. SE-RRMs outperform prior RRMs on 9x9 Sudoku and generalize from just training on 9x9 to smaller 4x4 and larger 16x16 and 25x25 instances, to which existing RRMs cannot extrapolate. On ARC-AGI-1 and ARC-AGI-2, SE-RRMs achieve competitive performance with substantially less data augmentation and only 2 million parameters, demonstrating that explicitly encoding symmetry improves the robustness and scalability of neural reasoning. Code is available at https://github.com/ml-jku/SE-RRM.