Hierarchical Control in Multi-Agent Games: LLM-based Planning and RL Execution

📄 arXiv: 2606.20014v1 📥 PDF

作者: Jannik Hösch, Alessandro Sestini, Florian Fuchs, Amir Baghi, Joakim Bergdahl, Konrad Tollmar, Jean-Philippe Barrette-LaPierre, Linus Gisslén

分类: cs.LG, cs.AI

发布日期: 2026-06-18

备注: 12 pages, 9 figures

💡 一句话要点

提出层次控制架构以解决多智能体游戏中的协调问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 多智能体系统 层次控制 大型语言模型 游戏AI 策略协调

📋 核心要点

  1. 现有的强化学习方法在复杂多智能体环境中面临稀疏奖励和协调策略学习的挑战，限制了其应用。
  2. 本文提出了一种层次化架构，利用预训练的大型语言模型作为战略控制器，选择适当的RL技能策略以实现高效协调。
  3. 实验结果表明，LLM+RL系统在任务表现上与手工设计的行为树相当，并在用户研究中获得了较高的可信度评分。

📝 摘要（中文）

强化学习（RL）在序列决策中表现出色，但在复杂的多智能体环境中仍面临挑战，如稀疏奖励、大状态-动作空间和协调策略学习困难。本文提出了一种层次化架构，其中预训练的大型语言模型（LLM）作为集中式战略控制器，为智能体团队选择专门的RL技能策略，而RL策略则处理低级反应执行。我们在竞争性的2v2《山顶之王》环境中评估了这一混合系统，结果显示LLM+RL系统的任务表现与手工设计的行为树（BT）相当，同时显著优于未进行技能分解的“平面”RL训练。用户研究显示，60%的参与者认为LLM+RL智能体最具人类特征，表明预训练的LLM推理能够有效协调预训练的RL技能，实现竞争性的多智能体协调和更高的可信度。

🔬 方法详解

问题定义：本文旨在解决多智能体游戏中强化学习的协调问题，现有方法在复杂环境中面临稀疏奖励和大状态-动作空间的挑战，导致学习效率低下。

核心思路：提出一种层次化架构，利用预训练的大型语言模型（LLM）作为战略控制器，选择适合的RL技能策略，从而实现高效的多智能体协调。

技术框架：整体架构包括两个主要模块：首先，LLM负责高层次的战略决策；其次，RL策略负责低层次的执行。通过这种分层设计，系统能够在复杂环境中灵活应对。

关键创新：最重要的创新在于将LLM与RL相结合，利用LLM的推理能力来协调多个RL策略，从而实现更高效的多智能体合作，这与传统的单一RL方法有本质区别。

关键设计：在设计中，LLM的选择和训练是关键，确保其能够有效理解和生成策略。此外，RL策略的训练采用了技能分解的方法，以提高学习效率和执行效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLM+RL系统在2v2《山顶之王》环境中的胜率为46.4%，与手工设计的行为树（51.5%）相当，且显著优于未进行技能分解的“平面”RL。此外，用户研究表明，60%的参与者认为LLM+RL智能体最具人类特征，表明其在行为适应性和战术多样性方面的优势。

🎯 应用场景

该研究的潜在应用领域包括游戏AI、机器人协作和智能交通系统等。在这些领域中，智能体需要在复杂环境中进行有效的协调和决策，本文提出的方法能够提高智能体的适应性和表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) has achieved strong performance in sequential decision-making, yet scaling to complex multi-agent environments remains challenging due to sparse rewards, large state-action spaces, and the difficulty of learning coordinated strategies. We propose a hierarchical architecture where a pretrained large language model (LLM) acts as a centralized strategic controller that selects among specialized RL skill policies for a team of agents, while RL policies handle reactive low-level execution. We evaluate this hybrid system in a competitive 2v2 King of the Hill environment against behavior tree (BT) and \emph{``Flat''} RL (end-to-end training without skill decomposition) baselines. The LLM+RL system achieves task performance statistically equivalent to hand-crafted BT (46.4\% vs 51.5\% win rate, $p=0.103$) while both significantly outperform Flat RL trained without skill decomposition. A user study ($n=15$) reveals that 60\% of participants perceive LLM+RL agents as the most human-like ($p=0.027$), citing behavioral adaptability and tactical variability. These results demonstrate that pretrained LLM reasoning can effectively orchestrate pretrained RL skills, achieving competitive multi-agent coordination and superior perceived believability without manual rule engineering.