MIST-RL: Mutation-based Incremental Suite Testing via Reinforcement Learning

📄 arXiv: 2603.01409v1 📥 PDF

作者: Sicheng Zhu, Jiajun Wang, Jiawei Ai, Xin Li

分类: cs.AI, cs.LG, cs.SE

发布日期: 2026-03-02

备注: Preprint. 17 pages

💡 一句话要点

MIST-RL：基于变异和强化学习的增量式测试套件生成，提升代码验证效率。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 代码测试 变异测试 大型语言模型 软件验证

📋 核心要点

  1. 现有代码验证方法依赖大量测试用例，导致冗余和效率低下，未能有效利用测试用例的效用。
  2. MIST-RL通过强化学习优化测试生成过程，侧重于生成高实用性的测试用例，以发现新的故障并避免冗余。
  3. 实验表明，MIST-RL在提高变异分数的同时减少了测试用例数量，并提升了下游代码重排序的准确性。

📝 摘要（中文）

大型语言模型(LLMs)通常无法一次性生成正确的代码，需要使用生成的单元测试作为验证器来验证解决方案。现有的验证方法受限于“数量取胜”的模式，这种蛮力方法存在一个关键限制：在故障检测方面收益递减，同时导致严重的测试冗余。为了解决这个问题，我们提出了MIST-RL（基于变异的增量式测试套件生成，通过强化学习），该框架将重点转移到“效用取胜”。我们将测试生成建模为一个通过Group Relative Policy Optimization (GRPO)优化的序列决策过程。具体来说，我们引入了一种新颖的增量变异奖励，结合动态惩罚，激励模型发现新的故障，同时抑制功能等效的断言。在HumanEval+和MBPP+上的实验表明，MIST-RL优于最先进的基线。它实现了+28.5%的变异分数，同时减少了19.3%的测试用例数量。此外，我们表明，这些紧凑、高实用性的测试可以作为卓越的验证器，在HumanEval+上，使用10个候选样本时，下游代码重排序精度比SOTA基线提高了3.05%。源代码和数据在补充材料中提供。

🔬 方法详解

问题定义：论文旨在解决大型语言模型生成的代码验证中，现有测试方法效率低下的问题。现有方法通常采用“数量取胜”的策略，生成大量的测试用例，但这些测试用例存在冗余，且在发现新故障方面的收益递减。因此，如何生成更有效、更精简的测试套件，以提高代码验证的效率和准确性，是本文要解决的核心问题。

核心思路：MIST-RL的核心思路是将测试用例的生成过程建模为一个序列决策问题，并利用强化学习来优化这个过程。通过设计合适的奖励函数，激励模型生成能够发现新故障的测试用例，同时抑制生成功能等效的测试用例。这种“效用取胜”的策略旨在生成更精简、更有效的测试套件。

技术框架：MIST-RL框架主要包含以下几个关键模块：1) 环境（Environment）：模拟代码执行和变异过程，提供测试用例的反馈。2) 智能体（Agent）：基于强化学习策略，生成新的测试用例。3) 奖励函数（Reward Function）：评估测试用例的质量，包括增量变异奖励和动态惩罚。4) 策略优化（Policy Optimization）：使用Group Relative Policy Optimization (GRPO)算法优化智能体的策略。整个流程是一个迭代过程，智能体不断生成新的测试用例，环境提供反馈，智能体根据反馈调整策略，最终生成一个高质量的测试套件。

关键创新：MIST-RL最重要的技术创新在于其增量变异奖励和动态惩罚机制。增量变异奖励旨在激励模型发现新的故障，即生成能够杀死之前测试用例无法杀死的变异体的测试用例。动态惩罚则用于抑制生成功能等效的测试用例，即生成与现有测试用例功能重复的测试用例。这种奖励机制能够有效地引导模型生成高实用性的测试用例，从而提高测试套件的效率。与现有方法相比，MIST-RL不再追求测试用例的数量，而是更加注重测试用例的质量和效用。

关键设计：MIST-RL的关键设计包括：1) 增量变异奖励：基于变异测试的结果，奖励能够杀死新变异体的测试用例。2) 动态惩罚：根据测试用例的功能相似度，惩罚功能重复的测试用例。3) Group Relative Policy Optimization (GRPO)：一种强化学习算法，用于优化智能体的策略，使其能够更好地生成高实用性的测试用例。具体的参数设置和网络结构在论文的补充材料中提供。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MIST-RL在HumanEval+和MBPP+数据集上进行了实验，结果表明其性能优于最先进的基线方法。具体而言，MIST-RL实现了+28.5%的变异分数提升，同时减少了19.3%的测试用例数量。此外，使用MIST-RL生成的测试套件作为验证器，在HumanEval+上，使用10个候选样本时，下游代码重排序精度比SOTA基线提高了3.05%。这些结果表明，MIST-RL能够生成更有效、更精简的测试套件，并提高代码验证的准确性。

🎯 应用场景

MIST-RL具有广泛的应用前景，可用于自动化软件测试、代码调试和程序验证等领域。通过生成更有效、更精简的测试套件，可以显著提高代码验证的效率和准确性，降低软件开发和维护成本。此外，MIST-RL还可以应用于大型语言模型的代码生成能力评估，帮助开发者更好地理解和改进LLM的代码生成质量。未来，该技术有望成为软件开发流程中不可或缺的一部分。

📄 摘要（原文）

Large Language Models (LLMs) often fail to generate correct code on the first attempt, which requires using generated unit tests as verifiers to validate the solutions. Despite the success of recent verification methods, they remain constrained by a "scaling-by-quantity" paradigm. This brute-force approach suffers from a critical limitation: it yields diminishing returns in fault detection while causing severe test redundancy. To address this, we propose MIST-RL (Mutation-based Incremental Suite Testing via Reinforcement Learning), a framework that shifts the focus to "scaling-by-utility". We formulate test generation as a sequential decision process optimized via Group Relative Policy Optimization (GRPO). Specifically, we introduce a novel incremental mutation reward combined with dynamic penalties, which incentivizes the model to discover new faults while it suppresses functionally equivalent assertions. Experiments on HumanEval+ and MBPP+ demonstrate that MIST-RL outperforms state-of-the-art baselines. It achieves a +28.5% higher mutation score while reducing the number of test cases by 19.3%. Furthermore, we show that these compact, high-utility tests serve as superior verifiers, which improves downstream code reranking accuracy on HumanEval+ by 3.05% over the SOTA baseline with 10 candidate samples. The source code and data are provided in the supplementary material.