Superhuman AI for Generals.io Using Self-Play Reinforcement Learning
作者: Matej Straka, Viliam Lisý, Martin Schmid
分类: cs.LG
发布日期: 2026-06-22
💡 一句话要点
提出超人类AI以解决Generals.io游戏中的策略挑战
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 自我对弈 视觉变换器 实时策略游戏 数据生成效率
📋 核心要点
- 现有的策略游戏AI在处理长远规划和短期战术时面临强不完全信息的挑战，导致性能受限。
- 论文提出了一种基于自我对弈的强化学习方法，结合快速模拟器和视觉变换器策略，显著提升了AI的决策能力。
- 实验结果显示，该AI在与人类玩家的对战中取得了199胜70负的优异成绩，且在排行榜中名列第一，表现出色。
📝 摘要（中文）
我们提出了一种超人类AI代理，用于Generals.io这款实时策略游戏，该游戏要求在强不完全信息下进行长远规划和短期战术。经过四天在4台NVIDIA H200 GPU上的训练，我们的代理在超过5000名人类玩家的1v1公开排行榜中排名第一，领先第二名玩家的优势与第二名与第25名之间的差距相当，并在269场梯队比赛中以199-70的战绩击败两名排名前列的人类玩家。关键因素是一个基于JAX的模拟器，其在单个GPU上每秒可达到数千万帧，速度比之前的模拟器快约10000倍。在此基础上，我们通过自我对弈和策略梯度循环，使用稀疏的胜负奖励，端到端训练了视觉变换器策略，并采用了顶级优势样本过滤和策略参数的指数移动平均。我们的研究结果强调了在快速模拟器消除数据瓶颈后，哪些因素是重要的，哪些则不是。
🔬 方法详解
问题定义：本论文旨在解决Generals.io游戏中AI在长远规划和短期战术下的决策能力不足的问题。现有方法在处理强不完全信息时表现不佳，限制了AI的竞争力。
核心思路：通过构建一个高效的JAX-native模拟器，显著提升训练速度，并结合自我对弈的强化学习策略，论文提出了一种新颖的训练方法，以克服数据瓶颈。
技术框架：整体架构包括一个高效的模拟器和一个视觉变换器策略网络。训练过程中，AI通过自我对弈生成数据，并利用策略梯度循环进行优化，采用稀疏的胜负奖励进行反馈。
关键创新：最重要的技术创新在于构建了一个速度提升约10000倍的模拟器，使得AI能够在短时间内进行大量训练，从而提升决策能力。与现有方法相比，这种设计大幅度提高了数据生成效率。
关键设计：在训练过程中，采用了顶级优势样本过滤技术，确保训练样本的质量。同时，使用指数移动平均来平滑策略参数，增强了训练的稳定性和收敛性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该AI在269场梯队比赛中以199胜70负的优异成绩击败了两名顶级人类玩家，并在公开排行榜中名列第一，领先第二名玩家的优势相当于第二名与第25名之间的差距，展现了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括游戏AI、智能决策系统和复杂环境下的自动化控制。通过提升AI在不完全信息下的决策能力，该技术可为多种实时策略游戏及其他需要快速反应和长远规划的应用提供支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
We present a superhuman AI agent for Generals.io, a real-time strategy game that requires both long-horizon planning and short-term tactics under strong imperfect information. Trained for four days on 4x NVIDIA H200 GPUs, our agent reaches #1 on the public 1v1 leaderboard of over 5,000 human players, leading the second-ranked player by the same margin that separates second place from 25th, and beats the two top-ranked humans head-to-head with a combined 199-70 record across 269 ladder matches. A key enabler is a JAX-native simulator that reaches tens of millions of frames per second on a single GPU, roughly a 10,000x speedup over the prior simulator. On top of this, we train a vision transformer policy end-to-end by self-play with a policy-gradient loop and sparse win/loss reward, using top-advantage sample filtering and an exponential moving average of the policy parameters. Taken together, our findings highlight what matters, and what does not, once a fast simulator removes the data bottleneck.