Physics-Informed Multi-Agent Reinforcement Learning for Distributed Multi-Robot Problems
作者: Eduardo Sebastian, Thai Duong, Nikolay Atanasov, Eduardo Montijano, Carlos Sagues
分类: cs.RO, cs.MA, eess.SY
发布日期: 2023-12-30 (更新: 2025-06-22)
备注: Paper accepted and published at IEEE T-RO
💡 一句话要点
提出基于物理信息的MARL方法，解决分布式多机器人系统的可扩展控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 多智能体强化学习 分布式控制 物理信息 自注意力机制 port-Hamiltonian系统
📋 核心要点
- 传统多智能体强化学习方法在多机器人系统中面临挑战，集中式策略难以扩展，独立策略则无法有效利用其他机器人的信息。
- 论文提出一种基于物理信息的强化学习方法，利用port-Hamiltonian结构和自注意力机制，实现可扩展且信息利用充分的分布式控制策略。
- 实验表明，该方法在仿真和真实机器人平台上均表现出色，在可扩展性和性能上优于现有方法，并实现了零样本sim-to-real迁移。
📝 摘要（中文）
本文提出了一种基于物理信息的强化学习方法，用于学习可扩展的分布式多机器人控制策略，该策略能够利用每个机器人可获得的所有信息。该方法有三个关键特征：首先，它在策略表示上施加了port-Hamiltonian结构，尊重物理机器人系统的能量守恒特性和机器人团队交互的网络化特性。其次，它使用自注意力机制来确保稀疏的策略表示，能够处理来自交互图中每个机器人的时变信息。第三，提出了一个由自注意力port-Hamiltonian控制策略参数化的软Actor-Critic强化学习算法，该算法考虑了训练期间机器人之间的相关性，同时克服了对价值函数分解的需求。在不同的多机器人场景中进行的大量仿真表明，该方法是成功的，在可扩展性方面超越了以前的多机器人强化学习解决方案，同时实现了相似或更高的性能（平均累积奖励比最先进的方法高出2倍，机器人团队规模比训练时的机器人数量大6倍）。我们还在佐治亚理工学院机器人实验室的多个真实机器人上，在不完善的通信条件下验证了我们的方法，证明了零样本sim-to-real迁移和跨机器人数量的可扩展性。
🔬 方法详解
问题定义：论文旨在解决分布式多机器人系统中，如何设计可扩展且能有效利用信息的控制策略的问题。现有集中式控制策略难以扩展到大量机器人，而独立控制策略忽略了机器人之间的协作信息，导致在协作竞争任务中表现不佳。
核心思路：论文的核心思路是将物理信息融入强化学习中，具体而言，利用port-Hamiltonian结构来约束策略空间，使其满足能量守恒等物理定律，并使用自注意力机制来学习机器人之间的交互关系，从而实现可扩展且信息利用充分的分布式控制策略。
技术框架：整体框架包含三个主要部分：1) 基于port-Hamiltonian结构的策略表示，用于编码机器人系统的物理特性；2) 基于自注意力机制的策略网络，用于学习机器人之间的交互关系；3) 基于软Actor-Critic的强化学习算法，用于训练策略网络。该算法考虑了机器人之间的相关性，避免了对价值函数进行分解。
关键创新：论文的关键创新在于将物理信息（port-Hamiltonian结构）和自注意力机制相结合，用于设计多机器人系统的控制策略。与传统的强化学习方法相比，该方法能够更好地利用机器人系统的物理特性和机器人之间的交互信息，从而提高策略的可扩展性和性能。
关键设计：port-Hamiltonian结构通过定义能量函数和耗散函数来约束策略空间，确保策略满足能量守恒等物理定律。自注意力机制通过学习每个机器人与其他机器人之间的注意力权重，来捕捉机器人之间的交互关系。软Actor-Critic算法使用熵正则化来鼓励策略探索，并使用双Q网络来减少价值估计的偏差。
📊 实验亮点
实验结果表明，该方法在多个多机器人场景中均取得了显著的性能提升。在仿真环境中，该方法的平均累积奖励比最先进的方法高出2倍，并且能够处理比训练时多6倍的机器人数量。在真实机器人平台上，该方法实现了零样本sim-to-real迁移，并且在不完善的通信条件下仍然表现良好，验证了其鲁棒性和可扩展性。
🎯 应用场景
该研究成果可应用于各种分布式多机器人系统，例如：协同搬运、编队控制、搜索救援、环境监测等。通过学习可扩展的分布式控制策略，可以使机器人团队在复杂环境中高效地完成任务，并降低对通信带宽和计算资源的需求。未来，该方法有望应用于更大规模、更复杂的机器人系统。
📄 摘要（原文）
The networked nature of multi-robot systems presents challenges in the context of multi-agent reinforcement learning. Centralized control policies do not scale with increasing numbers of robots, whereas independent control policies do not exploit the information provided by other robots, exhibiting poor performance in cooperative-competitive tasks. In this work we propose a physics-informed reinforcement learning approach able to learn distributed multi-robot control policies that are both scalable and make use of all the available information to each robot. Our approach has three key characteristics. First, it imposes a port-Hamiltonian structure on the policy representation, respecting energy conservation properties of physical robot systems and the networked nature of robot team interactions. Second, it uses self-attention to ensure a sparse policy representation able to handle time-varying information at each robot from the interaction graph. Third, we present a soft actor-critic reinforcement learning algorithm parameterized by our self-attention port-Hamiltonian control policy, which accounts for the correlation among robots during training while overcoming the need of value function factorization. Extensive simulations in different multi-robot scenarios demonstrate the success of the proposed approach, surpassing previous multi-robot reinforcement learning solutions in scalability, while achieving similar or superior performance (with averaged cumulative reward up to x2 greater than the state-of-the-art with robot teams x6 larger than the number of robots at training time). We also validate our approach on multiple real robots in the Georgia Tech Robotarium under imperfect communication, demonstrating zero-shot sim-to-real transfer and scalability across number of robots.