SymmGrid: Super-Scaling On-Robot Learning with Parallelized Symmetries and Egocentric-Exocentric Visual Perception
作者: Gabe Everett, Brice Gunter, Ryan Vander Stelt, Cleiver Ruiz-Martinez, Blake Hull, Juan Rojas
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-07-29
备注: 9 pages, 7 figures, 1 table
💡 一句话要点
提出SymmGrid以加速机器人学习过程
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 深度强化学习 机器人学习 并行对称性 几何网格 状态建模 操作任务 性能提升
📋 核心要点
- 现有的在机器人上进行深度强化学习的方法面临训练时间过长的问题，限制了其实际应用。
- SymmGrid通过引入并行对称性和几何网格结构，优化了状态-动作对的变换，从而加速了学习过程。
- 实验表明，SymmGrid在训练收敛速度上提高了1.37-2.17倍，成功率提升了1.09-1.27倍，展示了其在实际操作任务中的有效性。
📝 摘要（中文）
深度强化学习在物理机器人上的应用（即在机器人上学习）仍然受到训练时间缓慢的瓶颈限制。本文提出了SymmGrid，一个基于并行对称性灵感的轨迹级增强框架，显著加速了在自我中心和外部中心视觉设置下的机器人学习。我们在对称树下建模马尔可夫决策过程（MDP），并通过平行不变变换生成几何网格结构，利用这些变换填充重放缓冲区，从而加速学习并提高性能。实验结果显示，SymmGrid在多个真实机器人操作任务中实现了显著的训练速度提升和成功率改善。
🔬 方法详解
问题定义：本文旨在解决在物理机器人上进行深度强化学习时训练时间过长的问题。现有方法在处理复杂任务时，训练效率低下，导致学习过程缓慢。
核心思路：SymmGrid的核心思想是利用并行对称性来增强轨迹级别的数据，从而生成丰富的状态-动作对，提升学习效率。通过对称树的建模，能够有效地处理状态和动作的变换。
技术框架：整体架构包括状态建模、并行变换生成和重放缓冲区填充三个主要模块。状态通过自我中心和外部中心的图像以及本体感知信息进行建模，变换则通过同质性处理来实现。
关键创新：最重要的创新在于通过平行不变变换生成几何网格结构，这种方法显著增加了重放缓冲区中的独特对称等价体，提升了学习的多样性和一致性。
关键设计：在设计中，特别处理了本体感知信息的同质性，确保视觉场景与空间变换相一致。此外，采用了标准化的曲线下面积（nAUC）比率来评估轨迹的整体表现。通过这些设计，SymmGrid实现了显著的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SymmGrid在训练收敛速度上实现了1.37-2.17倍的提升，成功率提高了1.09-1.27倍，最快训练收敛时间分别为16.6、10.9和79.3分钟。此外，轨迹宽度评估中，nAUC比率提升高达2.59倍，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过加速机器人学习过程，SymmGrid能够使机器人在复杂环境中更快地适应和执行任务，提升其实际应用价值。未来，该技术可能推动更高效的机器人训练方法的发展，促进智能机器人在各行业的广泛应用。
📄 摘要（原文）
Deep reinforcement policy learning directly in physical robots (on-robot learning) remains bottlenecked by slow wall-clock training times. We present SymmGrid, a trajectory level augmentation framework inspired by parallelized symmetries that super-scales group transformations to significantly accelerate on-robot learning in both egocentric and exocentric visual setups. We model a Markov Decision Process (MDP) under a symmetry tree, in which state-action pairs have admissible parallelized invariant transformations that yield a geometric grid structure. The state is modelled with ego- or exocentric images and proprioception information. The latter require special treatment, in the form of homographies, to warp visual scenes in line with their corresponding spatial transformations. These parallelized transformations produce a large set of unique symmetric equivalences that populate the replay buffer with diverse and consistent experiences that speed up learning and improve performance. We present extensive training and evaluations performed directly on real robot manipulation contact tasks including peg-insertions, cable routing, and object relocations. Relative to SOTA, SymmGrid achieved wall-clock training convergence speed-ups of 1.37-2.17x, evaluation success rate improvements of 1.09x-1.27x, fastest training convergence times of 16.6, 10.9, and 79.3 minutes respectively. For trajectory wide assessments, we used normalized area under the curve (nAUC) ratios. SymmGrid achieved improvements of up to 2.59x. These results confirm that simple branch symmetries can have an outsized result due to super-scaling and bring us closer to sub-10 minute on-robot learning training in manipulation tasks suitable for arms and humanoids. The project page is available at symmgrid-robot.github.io