Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance

📄 arXiv: 2401.11378v1 📥 PDF

作者: Zheng Fang, Tianhao Chen, Dong Jiang, Zheng Zhang, Guangliang Li

分类: cs.RO, cs.LG

发布日期: 2024-01-21

备注: 8pages,10figures,Published to RA-L

💡 一句话要点

提出多智能体生成对抗交互自模仿学习以解决AUV编队控制与避障问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多智能体学习 生成对抗网络 自模仿学习 水下航行器 编队控制 避障技术 强化学习

📋 核心要点

  1. 现有的多AUV控制方法在设计高效奖励函数方面面临挑战，尤其是在复杂任务中。
  2. 本文提出的MAGAISIL方法通过交互自模仿学习，逐步替换次优演示，提升学习效率。
  3. 实验结果显示，MAGAISIL训练的AUV在编队控制和避障任务中表现优于传统方法，适应性更强。

📝 摘要（中文）

多辆自主水下航行器（多AUV）能够协同完成单一AUV无法完成的任务。近年来，多智能体强化学习被引入到多AUV控制中。然而，为多AUV控制设计高效的奖励函数既困难又不切实际。多智能体生成对抗模仿学习（MAGAIL）允许多AUV从专家演示中学习，而非预定义的奖励函数，但其缺陷在于需要最优演示且无法超越提供的专家演示。本文在MAGAIL算法基础上提出了多智能体生成对抗交互自模仿学习（MAGAISIL），使AUV能够通过逐渐用人类训练者选择的自生成良好轨迹替换提供的次优演示来学习策略。实验结果表明，通过MAGAISIL训练的AUV能够超越提供的次优专家演示，达到接近甚至优于使用最优演示的MAGAIL的性能。

🔬 方法详解

问题定义：本文旨在解决多AUV控制中奖励函数设计困难的问题。现有的MAGAIL方法依赖于最优演示，限制了学习的灵活性和效率。

核心思路：MAGAISIL通过引入交互自模仿学习的机制，使得AUV能够在学习过程中逐步用自生成的轨迹替换次优演示，从而提升学习效果。

技术框架：该方法的整体架构包括三个主要模块：1) 专家演示的收集与处理；2) 自生成轨迹的生成与选择；3) 策略学习与优化。每个模块相互协作，形成闭环学习机制。

关键创新：MAGAISIL的核心创新在于允许AUV在学习过程中动态替换次优演示，突破了MAGAIL对最优演示的依赖，增强了学习的灵活性和适应性。

关键设计：在技术细节上，MAGAISIL采用了特定的损失函数来平衡专家演示与自生成轨迹的影响，同时设计了适应性强的网络结构，以支持复杂任务的学习。具体参数设置和网络架构在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAGAISIL训练的AUV在Gazebo平台上的编队控制和避障任务中，性能超过了提供的次优专家演示，且在某些情况下达到了与使用最优演示的MAGAIL相当或更优的效果，显示出显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括海洋探测、环境监测和水下救援等任务，能够显著提升多AUV系统在复杂环境中的协作能力和自主决策水平。未来，该方法有望推广到其他多智能体系统的控制与协作任务中。

📄 摘要（原文）

Multiple autonomous underwater vehicles (multi-AUV) can cooperatively accomplish tasks that a single AUV cannot complete. Recently, multi-agent reinforcement learning has been introduced to control of multi-AUV. However, designing efficient reward functions for various tasks of multi-AUV control is difficult or even impractical. Multi-agent generative adversarial imitation learning (MAGAIL) allows multi-AUV to learn from expert demonstration instead of pre-defined reward functions, but suffers from the deficiency of requiring optimal demonstrations and not surpassing provided expert demonstrations. This paper builds upon the MAGAIL algorithm by proposing multi-agent generative adversarial interactive self-imitation learning (MAGAISIL), which can facilitate AUVs to learn policies by gradually replacing the provided sub-optimal demonstrations with self-generated good trajectories selected by a human trainer. Our experimental results in a multi-AUV formation control and obstacle avoidance task on the Gazebo platform with AUV simulator of our lab show that AUVs trained via MAGAISIL can surpass the provided sub-optimal expert demonstrations and reach a performance close to or even better than MAGAIL with optimal demonstrations. Further results indicate that AUVs' policies trained via MAGAISIL can adapt to complex and different tasks as well as MAGAIL learning from optimal demonstrations.