Symmetry-aware Reinforcement Learning for Robotic Assembly under Partial Observability with a Soft Wrist
作者: Hai Nguyen, Tadashi Kozuno, Cristian C. Beltran-Hernandez, Masashi Hamaya
分类: cs.RO, cs.AI, cs.LG
发布日期: 2024-02-28 (更新: 2024-04-29)
备注: Accepted at ICRA-2024
💡 一句话要点
提出对称感知强化学习以解决部分可观测下的机器人装配问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人装配 强化学习 部分可观测 对称性 软腕 触觉信号 样本效率
📋 核心要点
- 现有方法通常依赖完全可观测的模型，需外部设备来获取插销与孔的姿态，限制了应用的灵活性。
- 本研究提出一种基于对称感知的部分可观测强化学习方法，利用触觉和本体感受信号进行学习，增强样本效率。
- 实验结果表明，所提方法在五种对称插销形状下表现优异，样本效率高，能在短时间内实现真实机器人学习。
📝 摘要（中文）
本研究针对机器人装配中的接触丰富的插销入孔任务，使用能够更安全操作且容忍低频控制信号的软腕。以往研究通常采用完全可观测的模型，需依赖外部设备或估计器来获取插销与孔的姿态。相较之下，我们采用部分可观测的模型，并通过示范学习深度强化学习，训练一个基于记忆的智能体，仅依赖触觉和本体感受信号。此外，之前的工作未能利用潜在的领域对称性，导致需在更大的空间中搜索解决方案。我们提出利用对称性提高样本效率，通过增强训练数据和构建辅助损失，迫使智能体遵循对称性。仿真结果显示，我们的智能体在五种不同对称插销形状下表现出色，甚至超越了基于状态的智能体，样本效率使我们能在3小时内直接在真实机器人上学习。
🔬 方法详解
问题定义：本论文旨在解决机器人装配中的插销入孔任务，尤其是在部分可观测环境下的挑战。现有方法通常依赖于完全可观测的模型，需外部设备来获取插销与孔的姿态，限制了灵活性和安全性。
核心思路：我们提出了一种基于对称感知的强化学习方法，利用触觉和本体感受信号进行学习，避免了对外部估计器的依赖。通过引入对称性，我们增强了样本效率，使得智能体能够在更小的样本空间中进行有效学习。
技术框架：整体架构包括数据采集、模型训练和策略执行三个主要模块。首先，通过模拟环境收集触觉和本体感受信号，然后利用深度强化学习算法训练智能体，最后在真实机器人上执行学习到的策略。
关键创新：本研究的核心创新在于利用潜在的领域对称性，通过增强训练数据和构建辅助损失，迫使智能体遵循对称性，从而提高样本效率。这一方法与传统依赖完全可观测模型的方式本质上不同。
关键设计：在模型设计中，我们设置了特定的损失函数以强化对称性约束，并采用了适应性的网络结构以处理不同形状的插销。具体参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提智能体在五种不同对称插销形状下的表现与基于状态的智能体相当，甚至在某些情况下超越了后者。特别是，样本效率的提升使得智能体能够在仅3小时内在真实机器人上完成学习，展现出良好的实用性。
🎯 应用场景
该研究的潜在应用领域包括工业机器人装配、自动化生产线以及智能家居设备等。通过提高机器人在复杂环境中的适应能力和学习效率，能够显著提升生产效率和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
This study tackles the representative yet challenging contact-rich peg-in-hole task of robotic assembly, using a soft wrist that can operate more safely and tolerate lower-frequency control signals than a rigid one. Previous studies often use a fully observable formulation, requiring external setups or estimators for the peg-to-hole pose. In contrast, we use a partially observable formulation and deep reinforcement learning from demonstrations to learn a memory-based agent that acts purely on haptic and proprioceptive signals. Moreover, previous works do not incorporate potential domain symmetry and thus must search for solutions in a bigger space. Instead, we propose to leverage the symmetry for sample efficiency by augmenting the training data and constructing auxiliary losses to force the agent to adhere to the symmetry. Results in simulation with five different symmetric peg shapes show that our proposed agent can be comparable to or even outperform a state-based agent. In particular, the sample efficiency also allows us to learn directly on the real robot within 3 hours.