A Competition Winning Deep Reinforcement Learning Agent in microRTS

📄 arXiv: 2402.08112v2 📥 PDF

作者: Scott Goodfriend

分类: cs.LG, cs.AI

发布日期: 2024-02-12 (更新: 2025-01-02)

备注: Best paper award nominee at IEEE Conference on Games 2024. 19 pages, 6 figures. Source code at https://github.com/sgoodfriend/rl-algo-impls

期刊: 2024 IEEE Conference on Games (CoG), Milan, Italy, 2024, pp. 1-8

DOI: 10.1109/CoG60054.2024.10645610

💡 一句话要点

提出RAISocketAI以解决微型RTS竞赛中的深度强化学习挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 微型RTS 迁移学习 行为克隆 策略微调 实时战略游戏 AI代理

📋 核心要点

  1. 现有的微型RTS竞赛中，脚本代理占据主导地位，深度强化学习的应用受限于训练资源和复杂性。
  2. 论文提出RAISocketAI，作为首个获胜的DRL代理，通过迭代微调和迁移学习实现优异表现。
  3. RAISocketAI在基准测试中表现出色，定期击败之前的冠军，为未来研究提供了重要基准。

📝 摘要（中文）

在IEEE微型RTS竞赛中，传统的脚本代理一直占据主导地位。尽管深度强化学习（DRL）在实时战略游戏中取得了显著进展，但由于训练资源需求大和代理创建及调试复杂性，其在这一主要学术竞赛中的应用仍然有限。RAISocketAI是首个赢得该竞赛的DRL代理，在没有性能约束的基准测试中，RAISocketAI定期击败了之前的两位冠军。该代理的成功为未来的微型RTS竞赛提供了基准，并为未来的DRL研究奠定了基础。通过对基础策略的迭代微调和针对特定地图的迁移学习，RAISocketAI实现了优异的表现。这些策略为未来DRL代理的经济训练提供了有效方法。进一步的模仿学习研究显示，使用行为克隆和微调DRL模型是一种有效的启动竞争性行为模型的方法。

🔬 方法详解

问题定义：论文旨在解决深度强化学习在微型RTS竞赛中的应用挑战，现有方法面临训练资源需求高和代理创建复杂的问题。

核心思路：RAISocketAI通过迭代微调基础策略和针对特定地图的迁移学习来提升代理性能，旨在降低训练成本并提高效率。

技术框架：整体架构包括基础策略的训练、微调阶段和迁移学习模块，确保代理能够适应不同的游戏环境。

关键创新：RAISocketAI是首个在微型RTS竞赛中获胜的DRL代理，其成功在于有效结合了微调和迁移学习策略，显著提升了代理的竞争力。

关键设计：在参数设置上，RAISocketAI采用了适应性学习率和特定损失函数，网络结构则结合了卷积神经网络和强化学习算法，以优化决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAISocketAI在没有性能约束的基准测试中，定期击败了之前的两位微型RTS竞赛冠军，展示了其在深度强化学习领域的强大能力。这一成果为未来的研究提供了重要的基准和参考。

🎯 应用场景

该研究的潜在应用领域包括实时战略游戏的AI代理开发、游戏AI的训练方法优化以及其他需要复杂决策的动态环境。RAISocketAI的成功为未来的DRL研究提供了新的思路和方法，可能会推动相关领域的技术进步。

📄 摘要（原文）

Scripted agents have predominantly won the five previous iterations of the IEEE microRTS ($μ$RTS) competitions hosted at CIG and CoG. Despite Deep Reinforcement Learning (DRL) algorithms making significant strides in real-time strategy (RTS) games, their adoption in this primarily academic competition has been limited due to the considerable training resources required and the complexity inherent in creating and debugging such agents. RAISocketAI is the first DRL agent to win the IEEE microRTS competition. In a benchmark without performance constraints, RAISocketAI regularly defeated the two prior competition winners. This first competition-winning DRL submission can be a benchmark for future microRTS competitions and a starting point for future DRL research. Iteratively fine-tuning the base policy and transfer learning to specific maps were critical to RAISocketAI's winning performance. These strategies can be used to economically train future DRL agents. Further work in Imitation Learning using Behavior Cloning and fine-tuning these models with DRL has proven promising as an efficient way to bootstrap models with demonstrated, competitive behaviors.