Robust Imitation Learning for Automated Game Testing

📄 arXiv: 2401.04572v1 📥 PDF

作者: Pierluigi Vito Amadori, Timothy Bradley, Ryan Spick, Guy Moss

分类: cs.LG

发布日期: 2024-01-09

💡 一句话要点

提出EVOLUTE以解决游戏自动化测试中的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动化测试 模仿学习 行为克隆 基于能量的模型 游戏开发 人工智能代理 泛化能力

📋 核心要点

  1. 现有的游戏测试方法主要依赖人工测试，效率低下且耗时长，难以满足快速开发的需求。
  2. 本文提出的EVOLUTE架构结合了行为克隆和基于能量的模型，能够同时处理连续和离散任务，提高了训练效率和控制精度。
  3. 实验结果显示，EVOLUTE在射击与驾驶游戏中表现出更高的泛化能力和性能，相较于传统方法有显著提升。

📝 摘要（中文）

游戏开发是一个漫长的过程，其中人类测试是最耗时的环节之一，测试人员需要反复执行任务以寻找代码中的错误。因此，自动化测试被视为游戏行业的一项关键技术，能够显著提高开发成本和效率。为此，本文提出了EVOLUTE，这是一种基于模仿学习的新型架构，结合了行为克隆（BC）和基于能量的模型（EBM）。EVOLUTE是一个双流集成模型，将自主代理的动作空间分为连续和离散任务。EBM流处理连续任务，以实现更精细和自适应的控制，而BC流处理离散动作，以简化训练。我们在一款射击与驾驶游戏中评估了EVOLUTE的性能，结果表明该模型具有比标准BC方法更高的泛化能力，展现出更广泛的行为和更高的性能，同时比纯端到端EBM模型更易于训练。

🔬 方法详解

问题定义：本文旨在解决游戏开发中人工测试效率低下的问题。现有方法主要依赖人工反复测试，导致开发周期长、成本高。

核心思路：论文提出EVOLUTE架构，通过结合行为克隆（BC）和基于能量的模型（EBM），实现对连续和离散任务的有效处理，从而提高自动化测试的效率和效果。

技术框架：EVOLUTE是一个双流集成模型，其中EBM流负责处理连续任务，提供更精细的控制；BC流则处理离散动作，简化训练过程。整体流程包括数据收集、模型训练和行为生成三个主要阶段。

关键创新：EVOLUTE的创新在于其双流设计，使得模型在处理复杂任务时能够更好地适应不同类型的动作，从而提升了泛化能力和训练效率。与传统的单一方法相比，EVOLUTE能够更全面地探索动作空间。

关键设计：在模型设计中，采用了适应性损失函数以平衡连续和离散任务的训练，同时在网络结构上引入了多层感知机（MLP）以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EVOLUTE在射击与驾驶游戏中的表现优于传统的行为克隆方法，具有更高的泛化能力和更广泛的行为表现。具体而言，EVOLUTE在任务完成率和响应速度上均有显著提升，展示了其在复杂环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、自动化测试和人工智能代理的训练。通过提高自动化测试的效率，EVOLUTE能够帮助游戏开发团队缩短开发周期，降低成本，并提升产品质量，未来可能在其他需要高效测试的领域中得到广泛应用。

📄 摘要（原文）

Game development is a long process that involves many stages before a product is ready for the market. Human play testing is among the most time consuming, as testers are required to repeatedly perform tasks in the search for errors in the code. Therefore, automated testing is seen as a key technology for the gaming industry, as it would dramatically improve development costs and efficiency. Toward this end, we propose EVOLUTE, a novel imitation learning-based architecture that combines behavioural cloning (BC) with energy based models (EBMs). EVOLUTE is a two-stream ensemble model that splits the action space of autonomous agents into continuous and discrete tasks. The EBM stream handles the continuous tasks, to have a more refined and adaptive control, while the BC stream handles discrete actions, to ease training. We evaluate the performance of EVOLUTE in a shooting-and-driving game, where the agent is required to navigate and continuously identify targets to attack. The proposed model has higher generalisation capabilities than standard BC approaches, showing a wider range of behaviours and higher performances. Also, EVOLUTE is easier to train than a pure end-to-end EBM model, as discrete tasks can be quite sparse in the dataset and cause model training to explore a much wider set of possible actions while training.