XUAT-Copilot: Multi-Agent Collaborative System for Automated User Acceptance Testing with Large Language Model

📄 arXiv: 2401.02705v2 📥 PDF

作者: Zhitao Wang, Wei Wang, Zirao Li, Long Wang, Can Yi, Xinjie Xu, Luyang Cao, Hanjing Su, Shouzhi Chen, Jun Zhou

分类: cs.AI

发布日期: 2024-01-05 (更新: 2024-01-10)

💡 一句话要点

提出XUAT-Copilot以解决用户验收测试自动化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 用户验收测试 大型语言模型 多智能体系统 自动化测试 软件质量保证

📋 核心要点

  1. 现有的用户验收测试方法在测试脚本生成阶段仍需大量人力，效率低下。
  2. 本文提出的XUAT-Copilot系统利用大型语言模型，实现了多智能体协作，自动生成测试脚本。
  3. 实验结果显示，该系统在准确性上接近人类测试者，Pass@1准确率显著提升，节省了人力资源。

📝 摘要（中文）

近年来，我们致力于自动化微信支付的用户验收测试（UAT）过程，开发了名为XUAT的系统。然而，当前系统在测试脚本生成阶段仍需大量人力。因此，本文集中于提升该阶段的自动化水平。我们提出了一种基于大型语言模型（LLM）的多智能体协作系统XUAT-Copilot，主要由三个LLM代理负责行动规划、状态检查和参数选择，以及两个额外模块用于状态感知和案例重写。该系统与测试设备交互，模拟人类决策并生成行动指令。实验结果表明，该多智能体系统在有效性上接近人类测试者，并在Pass@1准确率上显著优于单智能体架构。更重要的是，该系统已在微信支付的正式测试环境中投入使用，显著节省了日常开发工作的人力成本。

🔬 方法详解

问题定义：本文旨在解决微信支付用户验收测试中的测试脚本生成阶段人力密集的问题。现有的XUAT系统在这一阶段仍需依赖人工，导致效率低下。

核心思路：我们提出的XUAT-Copilot系统通过引入大型语言模型（LLM）作为智能体，利用其强大的自然语言处理能力，实现测试脚本的自动生成和决策过程的智能化。

技术框架：该系统由三个主要的LLM代理组成，分别负责行动规划、状态检查和参数选择。此外，还有两个模块用于状态感知和案例重写。代理之间通过协作与测试设备进行交互，生成相应的行动指令。

关键创新：XUAT-Copilot的主要创新在于其多智能体架构，能够在复杂的测试环境中模拟人类决策，显著提高了测试的自动化程度和准确性。这一设计与传统的单智能体架构形成鲜明对比。

关键设计：系统的设计中，LLM代理的参数设置经过精心调整，以确保其在特定任务中的表现最佳。此外，采用了适应性损失函数，以优化模型在测试脚本生成过程中的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，XUAT-Copilot在Pass@1准确率上显著优于传统的单智能体架构，达到了接近人类测试者的有效性。这一成果展示了多智能体协作在自动化测试中的巨大潜力，能够有效节省人力资源。

🎯 应用场景

该研究的潜在应用领域包括移动支付、软件开发和质量保证等行业。通过自动化用户验收测试，企业能够显著提高测试效率，降低人力成本，提升产品质量。未来，该系统的应用可能扩展到其他类型的软件测试中，推动自动化测试技术的发展。

📄 摘要（原文）

In past years, we have been dedicated to automating user acceptance testing (UAT) process of WeChat Pay, one of the most influential mobile payment applications in China. A system titled XUAT has been developed for this purpose. However, there is still a human-labor-intensive stage, i.e, test scripts generation, in the current system. Therefore, in this paper, we concentrate on methods of boosting the automation level of the current system, particularly the stage of test scripts generation. With recent notable successes, large language models (LLMs) demonstrate significant potential in attaining human-like intelligence and there has been a growing research area that employs LLMs as autonomous agents to obtain human-like decision-making capabilities. Inspired by these works, we propose an LLM-powered multi-agent collaborative system, named XUAT-Copilot, for automated UAT. The proposed system mainly consists of three LLM-based agents responsible for action planning, state checking and parameter selecting, respectively, and two additional modules for state sensing and case rewriting. The agents interact with testing device, make human-like decision and generate action command in a collaborative way. The proposed multi-agent system achieves a close effectiveness to human testers in our experimental studies and gains a significant improvement of Pass@1 accuracy compared with single-agent architecture. More importantly, the proposed system has launched in the formal testing environment of WeChat Pay mobile app, which saves a considerable amount of manpower in the daily development work.