Multi-Modal Decentralized Reinforcement Learning for Modular Reconfigurable Lunar Robots

📄 arXiv: 2510.20347v1 📥 PDF

作者: Ashutosh Mishra, Shreya Santra, Elian Neppel, Edoardo M. Rossi Lombardi, Shamistan Karimov, Kentaro Uno, Kazuya Yoshida

分类: cs.RO, cs.MA

发布日期: 2025-10-23

备注: Accepted in IEEE iSpaRo 2025. Awaiting Publication

💡 一句话要点

提出多模态分散式强化学习，用于模块化可重构月球机器人。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模块化机器人 分散式强化学习 多模态学习 零样本泛化 月球探测

📋 核心要点

  1. 模块化机器人形态组合爆炸，难以统一控制，为空间任务带来挑战。
  2. 采用分散式强化学习，每个模块自主学习策略，实现零样本泛化。
  3. 仿真和月球模拟测试验证了自主移动、转向和重构对齐的有效性。

📝 摘要（中文）

本文提出了一种分散式强化学习(Dec-RL)方案，用于控制模块化可重构机器人，使其适应特定任务的空间操作。每个模块学习自己的策略：轮式模块使用软演员-评论家(SAC)算法进行移动，7自由度(DoF)机械臂使用近端策略优化(PPO)算法进行转向和操作，从而实现对未见配置的零样本泛化。在仿真中，转向策略在期望角度和实际角度之间的平均绝对误差为3.63°；操作策略在目标偏移标准下的成功率稳定在84.6%；轮式策略在保持99.6%成功率的同时，将平均电机扭矩相对于基线降低了95.4%。月球模拟场地测试验证了自主移动、转向和初步对齐以进行重构的零样本集成。该系统在策略执行的同步、并行和顺序模式之间平稳过渡，没有空闲状态或控制冲突，表明该方法对于模块化月球机器人具有可扩展性、可重用性和鲁棒性。

🔬 方法详解

问题定义：模块化可重构机器人在空间任务中具有优势，但其形态组合呈指数增长，导致难以设计一个通用的控制策略。现有的集中式控制方法难以适应不同构型的机器人，并且计算复杂度高，难以实时控制。因此，需要一种能够适应不同构型，并且具有良好泛化能力的控制方法。

核心思路：本文的核心思路是将控制问题分解为多个子问题，每个子问题由一个独立的模块负责。每个模块通过强化学习学习自己的控制策略，从而实现分散式控制。这种方法可以有效地降低控制复杂度，并且具有良好的泛化能力，能够适应不同的机器人构型。此外，通过多模态学习，针对不同类型的模块（轮式和机械臂）采用不同的强化学习算法，以获得更好的性能。

技术框架：整体框架包含多个独立的模块，每个模块配备自己的传感器和计算单元。每个模块通过强化学习学习自己的控制策略。轮式模块使用SAC算法进行移动控制，机械臂模块使用PPO算法进行转向和操作控制。在策略执行阶段，各个模块可以同步、并行或顺序执行动作，以完成复杂的任务。系统设计避免了空闲状态和控制冲突，保证了系统的鲁棒性和可扩展性。

关键创新：最重要的创新点在于将分散式强化学习应用于模块化可重构机器人的控制。通过让每个模块自主学习策略，实现了对不同构型的零样本泛化。此外，针对不同类型的模块采用不同的强化学习算法，进一步提高了控制性能。这种方法有效地降低了控制复杂度，并且具有良好的可扩展性和鲁棒性。

关键设计：轮式模块使用SAC算法，奖励函数设计鼓励高效移动并惩罚过大的电机扭矩。机械臂模块使用PPO算法，奖励函数设计鼓励机械臂到达目标位置并保持稳定。网络结构方面，SAC和PPO都采用了Actor-Critic结构，具体网络层数和神经元数量根据实际任务进行调整。实验中，对SAC和PPO的超参数进行了精细调整，例如学习率、折扣因子、裁剪范围等，以获得最佳性能。

📊 实验亮点

仿真结果表明，转向策略的平均绝对误差为3.63°，操作策略的成功率达到84.6%，轮式策略在保持99.6%成功率的同时，将平均电机扭矩降低了95.4%。月球模拟场地测试验证了系统在自主移动、转向和重构对齐方面的有效性。系统能够在同步、并行和顺序模式之间平稳过渡，没有空闲状态或控制冲突。

🎯 应用场景

该研究成果可应用于月球探测、空间站维护、灾后救援等领域。模块化机器人能够根据任务需求进行重构，适应复杂多变的环境。分散式控制方法提高了系统的鲁棒性和可扩展性，使其能够应对突发情况。未来，该技术有望应用于更广泛的机器人领域，例如自动驾驶、智能制造等。

📄 摘要（原文）

Modular reconfigurable robots suit task-specific space operations, but the combinatorial growth of morphologies hinders unified control. We propose a decentralized reinforcement learning (Dec-RL) scheme where each module learns its own policy: wheel modules use Soft Actor-Critic (SAC) for locomotion and 7-DoF limbs use Proximal Policy Optimization (PPO) for steering and manipulation, enabling zero-shot generalization to unseen configurations. In simulation, the steering policy achieved a mean absolute error of 3.63° between desired and induced angles; the manipulation policy plateaued at 84.6 % success on a target-offset criterion; and the wheel policy cut average motor torque by 95.4 % relative to baseline while maintaining 99.6 % success. Lunar-analogue field tests validated zero-shot integration for autonomous locomotion, steering, and preliminary alignment for reconfiguration. The system transitioned smoothly among synchronous, parallel, and sequential modes for Policy Execution, without idle states or control conflicts, indicating a scalable, reusable, and robust approach for modular lunar robots.