DouRN: Improving DouZero by Residual Neural Networks

📄 arXiv: 2403.14102v1 📥 PDF

作者: Yiquan Chen, Yingchao Lyu, Di Zhang

分类: cs.AI, cs.LG

发布日期: 2024-03-21

期刊: CyberC 2023: 96-99

🔗 代码/项目: GITHUB

💡 一句话要点

通过残差神经网络提升DouZero在斗地主中的表现

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 斗地主 残差网络 多层感知器 智能决策 博弈论 游戏AI

📋 核心要点

  1. 斗地主作为一种三人卡牌游戏，面临着大状态和动作空间的挑战，现有方法在此场景下表现不佳。
  2. 本文通过引入残差网络，优化DouZero模型的架构设计，并增加了多角色测试以提升智能体的决策能力。
  3. 实验结果显示，改进后的模型在相同训练时间内显著提高了胜率，超越了DouZero及人类玩家的表现。

📝 摘要（中文）

深度强化学习在不完全信息的游戏中取得了显著进展，但在斗地主这一三人合作与对抗结合的卡牌游戏中表现仍不尽如人意。2021年，DouZero模型通过传统的蒙特卡洛方法和多层感知器超越了之前的模型。本文在此基础上，引入残差网络，探索不同的架构设计，并进行多角色测试，结果表明该模型在相同训练时间内显著提高了胜率。此外，我们还引入了叫分评分系统，帮助智能体决定是否成为地主。经过这些改进，我们的模型在性能上超越了现有的DouZero版本，甚至超过了经验丰富的人类玩家。

🔬 方法详解

问题定义：本文旨在解决斗地主游戏中智能体决策能力不足的问题，现有的DouZero模型在复杂的状态和动作空间下表现不理想。

核心思路：通过引入残差神经网络，增强模型的学习能力和泛化能力，同时探索不同的网络架构以适应斗地主的特性。

技术框架：整体架构包括残差网络模块、决策模块和叫分评分系统，模型通过多层网络进行状态评估和决策生成。

关键创新：引入残差网络作为核心组件，使得模型在学习过程中能够更有效地捕捉复杂的策略信息，与传统的多层感知器相比，显著提升了性能。

关键设计：在网络结构上，采用了残差连接以缓解梯度消失问题，同时在损失函数中引入了针对斗地主特定的评分机制，以优化智能体的决策过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，改进后的DouRN模型在相同训练时间内的胜率提高了显著，超越了DouZero模型，并在与经验丰富的人类玩家对战中表现出色，显示出其在斗地主游戏中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括智能游戏代理、在线卡牌游戏的智能决策系统以及其他需要处理复杂决策的多方博弈场景。通过提升智能体的决策能力，能够为玩家提供更具挑战性的游戏体验，同时也为AI在复杂环境中的应用提供了新的思路。

📄 摘要（原文）

Deep reinforcement learning has made significant progress in games with imperfect information, but its performance in the card game Doudizhu (Chinese Poker/Fight the Landlord) remains unsatisfactory. Doudizhu is different from conventional games as it involves three players and combines elements of cooperation and confrontation, resulting in a large state and action space. In 2021, a Doudizhu program called DouZero\cite{zha2021douzero} surpassed previous models without prior knowledge by utilizing traditional Monte Carlo methods and multilayer perceptrons. Building on this work, our study incorporates residual networks into the model, explores different architectural designs, and conducts multi-role testing. Our findings demonstrate that this model significantly improves the winning rate within the same training time. Additionally, we introduce a call scoring system to assist the agent in deciding whether to become a landlord. With these enhancements, our model consistently outperforms the existing version of DouZero and even experienced human players. \footnote{The source code is available at \url{https://github.com/Yingchaol/Douzero_Resnet.git.}