Tiny Reinforcement Learning for Quadruped Locomotion using Decision Transformers

📄 arXiv: 2402.13201v1 📥 PDF

作者: Orhan Eren Akgün, Néstor Cuevas, Matheus Farias, Daniel Garces

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-02-20

备注: 10 pages, 4 figures

💡 一句话要点

提出决策变换器以解决资源受限四足机器人运动问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 决策变换器 资源受限机器人 量化技术 剪枝技术 四足运动 强化学习

📋 核心要点

  1. 现有的强化学习方法在资源受限的机器人平台上表现不佳，难以满足低成本硬件的需求。
  2. 本文提出将模仿学习视为条件序列建模任务，通过训练决策变换器来实现，增强了模型的适应性。
  3. 实验结果显示，经过量化和剪枝处理后，模型大小减少约30%，且在保持性能的同时实现了自然的运动效果。

📝 摘要（中文）

资源受限的机器人平台在搜索与救援等任务中具有重要应用价值，但现有强化学习方法难以适应其低计算能力和小内存容量。本文提出了一种将模仿学习转化为条件序列建模任务的方法，通过使用专家演示和自定义奖励训练决策变换器，并利用量化和剪枝等软件优化方案压缩生成模型。实验结果表明，该方法在模拟环境中实现了自然的四足运动，且量化和剪枝能将模型大小减少约30%，同时保持竞争力的奖励，使其适用于资源受限系统。

🔬 方法详解

问题定义：本文旨在解决资源受限机器人平台上模仿学习的适用性问题。现有方法通常需要较高的计算能力和内存，难以在低成本硬件上有效运行。

核心思路：通过将模仿学习问题转化为条件序列建模任务，利用决策变换器进行训练，结合专家演示和自定义奖励，提升模型的学习效率和适应性。

技术框架：整体架构包括数据收集、决策变换器训练、模型压缩（量化和剪枝）等主要模块。首先收集专家演示数据，然后训练决策变换器，最后应用优化技术减少模型大小。

关键创新：最重要的创新在于将模仿学习与条件序列建模相结合，并通过量化和剪枝技术有效压缩模型，使其适用于资源受限的环境。与传统方法相比，本文的方法在保持性能的同时显著降低了模型复杂度。

关键设计：在训练过程中，使用了自定义奖励函数以增强学习效果，并通过量化技术将模型压缩至4位，剪枝技术减少了约30%的模型大小，确保了在资源受限系统中的可部署性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，经过量化和剪枝处理后，模型大小减少约30%，同时在保持竞争力的奖励水平下，实现了自然的四足运动。这一成果展示了在资源受限环境中应用强化学习的可行性和有效性。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在搜索与救援、环境监测和群体机器人等领域。通过在资源受限平台上实现高效的四足运动控制，能够降低成本并提高任务执行的灵活性，未来可能推动更多低成本机器人技术的发展与应用。

📄 摘要（原文）

Resource-constrained robotic platforms are particularly useful for tasks that require low-cost hardware alternatives due to the risk of losing the robot, like in search-and-rescue applications, or the need for a large number of devices, like in swarm robotics. For this reason, it is crucial to find mechanisms for adapting reinforcement learning techniques to the constraints imposed by lower computational power and smaller memory capacities of these ultra low-cost robotic platforms. We try to address this need by proposing a method for making imitation learning deployable onto resource-constrained robotic platforms. Here we cast the imitation learning problem as a conditional sequence modeling task and we train a decision transformer using expert demonstrations augmented with a custom reward. Then, we compress the resulting generative model using software optimization schemes, including quantization and pruning. We test our method in simulation using Isaac Gym, a realistic physics simulation environment designed for reinforcement learning. We empirically demonstrate that our method achieves natural looking gaits for Bittle, a resource-constrained quadruped robot. We also run multiple simulations to show the effects of pruning and quantization on the performance of the model. Our results show that quantization (down to 4 bits) and pruning reduce model size by around 30\% while maintaining a competitive reward, making the model deployable in a resource-constrained system.