PokeLLMon: A Human-Parity Agent for Pokemon Battles with Large Language Models

📄 arXiv: 2402.01118v3 📥 PDF

作者: Sihao Hu, Tiansheng Huang, Ling Liu

分类: cs.AI, cs.CL

发布日期: 2024-02-02 (更新: 2024-04-02)

备注: 10 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出PokeLLMon以实现宝可梦战斗中的人类水平表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 强化学习 知识增强 战斗策略 游戏AI

📋 核心要点

  1. 现有的战斗代理在复杂战术决策中表现不足，难以达到人类玩家的水平。
  2. PokeLLMon通过上下文强化学习、知识增强生成和一致的动作生成来优化战斗策略。
  3. 实验结果显示，PokeLLMon在与人类对战中取得了49%和56%的胜率，展现出优越的战斗能力。

📝 摘要（中文）

我们介绍了PokeLLMon，这是第一个在战术战斗游戏中实现人类水平表现的LLM-具身代理，具体体现在宝可梦战斗中。PokeLLMon的设计包含三项关键策略：(i) 通过上下文强化学习，快速利用战斗中获得的文本反馈来迭代优化策略；(ii) 知识增强生成，检索外部知识以抵消幻觉，确保代理能够及时和恰当地行动；(iii) 一致的动作生成，以减轻代理在面对强大对手时的恐慌切换现象。我们的在线战斗实验表明，PokeLLMon展现了类人战斗策略和及时决策，在梯级比赛中赢得49%的胜率，在邀请战斗中赢得56%的胜率。我们的实现和可玩战斗日志可在：https://github.com/git-disl/PokeLLMon获取。

🔬 方法详解

问题定义：本论文旨在解决现有战斗代理在复杂战术决策中无法达到人类水平的问题，尤其是在面对强大对手时的决策能力不足。

核心思路：PokeLLMon通过结合上下文强化学习和知识增强生成，快速适应战斗反馈并利用外部知识来提升决策质量，从而实现类人表现。

技术框架：PokeLLMon的整体架构包括三个主要模块：上下文强化学习模块、知识检索模块和一致性动作生成模块。上下文强化学习模块负责实时更新策略，知识检索模块提供外部信息支持，而一致性动作生成模块确保在压力下的决策稳定性。

关键创新：PokeLLMon的主要创新在于其上下文强化学习与知识增强生成的结合，显著提高了代理在复杂战斗场景下的适应能力和决策质量，这与传统方法的静态策略生成形成鲜明对比。

关键设计：在设计中，PokeLLMon采用了动态反馈机制来调整策略，利用外部知识库来增强决策支持，同时在动作生成中引入一致性约束，以减少在高压环境下的决策波动。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PokeLLMon在与人类进行的在线战斗中表现出色，梯级比赛中赢得了49%的胜率，而在邀请战斗中更是达到了56%的胜率，显示出其在战术决策和即时反应方面的显著提升。

🎯 应用场景

PokeLLMon的研究成果可广泛应用于游戏AI、智能对战系统以及其他需要复杂决策的领域。其人类水平的表现为游戏开发者提供了新的思路，未来可能推动更智能的虚拟对手和增强现实应用的发展。

📄 摘要（原文）

We introduce PokeLLMon, the first LLM-embodied agent that achieves human-parity performance in tactical battle games, as demonstrated in Pokemon battles. The design of PokeLLMon incorporates three key strategies: (i) In-context reinforcement learning that instantly consumes text-based feedback derived from battles to iteratively refine the policy; (ii) Knowledge-augmented generation that retrieves external knowledge to counteract hallucination and enables the agent to act timely and properly; (iii) Consistent action generation to mitigate the panic switching phenomenon when the agent faces a powerful opponent and wants to elude the battle. We show that online battles against human demonstrates PokeLLMon's human-like battle strategies and just-in-time decision making, achieving 49% of win rate in the Ladder competitions and 56% of win rate in the invited battles. Our implementation and playable battle logs are available at: https://github.com/git-disl/PokeLLMon.