Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts

📄 arXiv: 2606.30092v1 📥 PDF

作者: Chunhui Bai, Changhe Li, Dequan Li, Xinye Cai, Shengxiang Yang

分类: cs.AI

发布日期: 2026-06-29

备注: 23 pages, 11 figures, including supplementary material

💡 一句话要点

提出HRL-IM/CBS框架以解决StarCraft微观管理中的决策透明性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次强化学习 影响图 聚类脚本 StarCraft 多智能体系统 决策透明性 样本效率

📋 核心要点

  1. 现有方法在处理RTS游戏中的维度爆炸和决策透明性方面存在明显不足，导致样本效率低下。
  2. 本文提出HRL-IM/CBS框架，通过影响图哈希和聚类脚本实现层次化的决策过程，增强了任务分解能力。
  3. 在六个不对称场景中的实验结果显示，该方法在样本效率和可解释性上优于现有深度强化学习基线。

📝 摘要（中文）

实时战略（RTS）游戏在人工智能领域面临重大挑战，尤其是在多单位协调和稀疏延迟奖励的背景下。现有方法在处理联合动作的维度爆炸和复杂状态表示的可解释性之间存在权衡。为了解决这些问题，本文提出了HRL-IM/CBS，一个结合影响图哈希和基于聚类脚本的层次强化学习框架。影响图哈希将全球战场情况编码为紧凑的十六进制代码，捕捉空间控制和相对优势。基于聚类的脚本通过自适应单位划分实现动态局部协调。实验表明，该方法在样本效率和可解释性方面优于深度强化学习基线。

🔬 方法详解

问题定义：本文旨在解决StarCraft微观管理中的决策透明性和样本效率问题。现有方法在多单位协调和稀疏奖励的背景下，面临维度爆炸和复杂状态表示的挑战。

核心思路：提出HRL-IM/CBS框架，通过影响图哈希和聚类脚本实现层次化的决策过程，增强任务分解能力，提供更密集的奖励信号以提高学习效率。

技术框架：该框架包括影响图哈希模块、聚类脚本模块和层次多Q表结构。影响图哈希用于编码战场信息，聚类脚本用于动态协调，而多Q表结构则分为上层策略选择和下层战术执行。

关键创新：影响图哈希和聚类脚本的结合是本文的核心创新，能够有效地将复杂任务分解为可管理的模块，并提供透明的决策过程。与传统方法相比，该框架在任务适应性和决策透明性上具有显著优势。

关键设计：在设计中，影响图哈希使用紧凑的十六进制编码，聚类脚本通过自适应单位划分实现局部协调，层次多Q表结构则通过奖励分配机制提供密集学习信号。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HRL-IM/CBS框架在六个不对称场景中表现出色，相较于深度强化学习基线，样本效率提升显著，且决策过程更加透明，具体性能数据未详述。

🎯 应用场景

该研究的潜在应用领域包括实时战略游戏的AI开发、机器人战术决策和复杂系统的动态协调。通过提高决策透明性和样本效率，该框架可为多智能体系统的研究提供新的思路，推动相关领域的进步。

📄 摘要（原文）

Real-time strategy (RTS) games present significant AI challenges, characterized by expansive state-action spaces arising from multi-unit coordination in continuous battlefields, and sparse delayed rewards stemming from final win/lose signals. Existing approaches face a trade-off between managing the dimensionality explosion of joint actions and maintaining the interpretability of complex state representations. This complexity is further intensified by the limitation of traditional hierarchical structures in adaptively decomposing tasks into effective tactical modules. Such difficulties are compounded by the black-box nature of deep learning models and their reliance on sparse rewards, which together result in limited sample efficiency and a lack of decision-making transparency. To address these limitations, this paper proposes HRL-IM/CBS, a hierarchical reinforcement learning framework with influence map hashing and cluster-based scripts for StarCraft micromanagement. Influence map hashing encodes global battlefield situations into compact hexadecimal codes, capturing spatial control and relative advantage. Cluster-based scripts enable dynamic local coordination through adaptive unit partitioning. The hierarchical multi-Q-table architecture decomposes decision-making into upper-level clustering strategy selection and lower-level tactical execution, with reward allocation providing dense learning signals. Experiments across six asymmetric scenarios demonstrate competitive performance against deep RL baselines while offering advantages in sample efficiency and interpretability through transparent Q-table representations.