Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group

📄 arXiv: 2606.03003 📥 PDF

作者: Hongbo Wang

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-07-05

💡 一句话要点

提出对称性保持的潜在世界模型以实现零-shot泛化

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 对称性保持 潜在世界模型 零-shot泛化 动态系统 机器人控制 计算机视觉 机器学习

📋 核心要点

  1. 现有方法在处理具有对称性的动态系统时，往往无法保持模型的泛化能力，导致在分布外的表现不佳。
  2. 本文提出了一种通过对称编码器和预测器构建的潜在世界模型，确保训练过程中的对称性保持，从而实现零-shot泛化。
  3. 实验结果表明，提出的模型在2D和3D任务中，相较于高容量的非对称基线，表现出显著的性能提升，尤其在保持误差平坦性方面。

📝 摘要（中文）

本文提出了一种基于对称编码器和预测器的潜在世界模型，该模型在训练损失中继承了可证明的对称性。当动态系统通过正交表示作用于潜在空间时，模型的单步预测相对均方误差在整个对称群上完全不变。这种对称性在实际训练中得以保持，且在不同优化器下，模型的残差保持在约10^{-6}，显示出在2D和3D任务中的显著优势。尽管模型在群体间的误差保持恒定，但并未降低其在分布内的误差水平。该研究为认证世界模型的构建奠定了基础，强调了对称性在泛化能力中的重要性。

🔬 方法详解

问题定义：本文旨在解决在动态系统中对称性保持的问题，现有方法在面对对称性时常常无法有效泛化，导致在分布外的表现不理想。

核心思路：通过构建一个对称编码器和预测器的潜在世界模型，确保训练损失的对称性在整个对称群上保持不变，从而实现零-shot泛化。

技术框架：模型主要包括对称编码器、预测器和控制器三个模块。对称编码器负责提取潜在特征，预测器进行动态预测，而控制器则在闭环中保持控制误差的对称性。

关键创新：本研究的创新点在于证明了对称性在训练过程中的保持能够显著提升模型的泛化能力，尤其是在处理具有对称性的任务时，与传统方法相比，模型在分布外的表现更为稳健。

关键设计：模型采用了正交表示的对称性设计，损失函数经过精心调整以确保对称性保持，网络结构则基于向量-神经元和e3nn参数化，确保在不同优化器下均能保持低残差。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的对称模型在2D任务中的单步误差为1.00，而高容量的非对称基线则为12.7，在3D任务中分别为1.00和17.2。此外，在真实机器人DROID的末端执行器轨迹中，模型的旋转残差仅为1.5×10^{-16}，显示出卓越的稳定性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、计算机视觉和动态系统建模等。通过保持对称性，模型能够在未知环境中进行有效的决策和控制，具有广泛的实际价值和未来影响。

📄 摘要（原文）

A latent world model built from an equivariant encoder and predictor inherits a provable symmetry of its training loss: when the dynamics carries a group $G$ acting on latents by an orthogonal representation $\rho(g)$, the one-step prediction relMSE is exactly invariant across the whole group, so fitting a restricted slice of orientations mathematically determines it on the entire orbit. The symmetry survives a real Muon/AdamW+EMA+VICReg run -- composed residual $\sim 10^{-6}$ after training, under any optimiser (intrinsic Vector-Neuron/e3nn parametrisation) -- and one-step error is flat across the group (5-seed medians: equivariant $\times 1.00$ vs a higher-capacity non-equivariant baseline $\times 12.7$ in 2D, $\times 17.2$ in 3D), while that baseline fits the slice but breaks out-of-distribution. The flatness is not a synthetic artefact: on real-robot DROID end-effector trajectories the equivariant model stays flat across the orbit ($\times 1.000$, rotation residual $1.5\times 10^{-16}$) while a $4.5\times$-larger baseline degrades $\times 11$. One caution is load-bearing: flatness is necessary, not sufficient -- the theorem transports the in-distribution error level unchanged but does not lower it (3D relMSE $\approx 0.43$): across-group error is constant, not low. The same isometry lifts to a closed-loop corollary: under a matching equivariant planner the control error is invariant across the group -- float-floor-exact in 2D/SO(2), statistically flat in 3D/SE(3). Stress-tested against Sutton's Bitter Lesson (augmentation, scale, soft-equivariance), each closes at most the across-group task metric, never the float-floor exactness. This is the generalisation-side foundation of a certified-world-models programme (arXiv:2606.13092,2606.24945,2606.24946): flatness transports competence, and the trust bounds built on it are downstream products.