Regression Test Selection for Updated Capability Modules in Compositional ML Systems via Atomic-Quality Probes
作者: Xue Qin, Simin Luan, Cong Yang, Zhijun Li
分类: cs.RO, cs.AI
发布日期: 2026-07-05
💡 一句话要点
提出回归测试选择方法以解决组合机器学习系统中的模块更新问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 回归测试选择 组合机器学习 模块更新 测试成本优化 主导技能效应
📋 核心要点
- 核心问题：现有的静态依赖分析无法有效识别模块更新后哪些组合仍然有效，且无法评估测试成本。
- 方法要点：论文提出了一种回归测试选择方法，通过配对跨版本交换协议和边际门控混合选择器来优化测试过程。
- 实验或效果：在实验中，主导模块的成功率显著提高，且新方法在测试成本上表现优于传统方法。
📝 摘要（中文）
组合机器学习系统通过独立重新训练的能力模块组装运行时行为。替换一个模块会引发回归测试问题，而静态依赖分析无法解答：哪些现有组合仍然有效，测试成本是多少？本文将能力更新框架化为回归测试选择（RTS），并贡献了四个主要结果。首先，提出了一种配对跨版本交换协议，以隔离单个模块更新的边际效应。其次，在两个接触丰富的操作任务中，表征了主导技能效应：一个能力模块的原子成功率达到88.0%，而其余模块则保持在32.0%以下，其包含使组合成功率提高了52个百分点；通过控制权重空间插值，逐点跟踪组合成功与原子质量的关系（皮尔逊r=0.94），该效应在第二个任务中得以复制。第三，离政策行为距离度量未能识别主导模块。第四，边际门控混合选择器在零决策测试成本下匹配完全重新验证（75.0%金标签一致性），并在完全重新验证成本的一半下达到81.25%的匹配，优于成本匹配的随机预算（Monte-Carlo p=0.039）。
🔬 方法详解
问题定义：本文旨在解决组合机器学习系统中模块更新后回归测试选择的问题。现有方法依赖静态依赖分析，无法有效识别哪些组合仍然有效，且无法评估测试成本。
核心思路：论文的核心思路是将能力更新视为回归测试选择（RTS），通过引入配对跨版本交换协议和边际门控混合选择器来优化测试选择过程，以降低测试成本并提高测试效率。
技术框架：整体架构包括四个主要模块：1) 配对跨版本交换协议用于隔离单个模块更新的影响；2) 主导技能效应的表征；3) 离政策行为距离度量的评估；4) 边际门控混合选择器的设计与实现。
关键创新：最重要的技术创新点在于提出了边际门控混合选择器，该方法在零决策测试成本下能够匹配完全重新验证的效果，显著提高了测试选择的效率。
关键设计：在设计中，采用了控制权重空间插值来逐点跟踪组合成功与原子质量的关系，并通过实验验证了该方法在不同任务中的有效性。具体参数设置和损失函数设计在实验部分详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，主导模块的原子成功率达到88.0%，而其他模块则低于32.0%。边际门控混合选择器在零决策测试成本下实现了75.0%的金标签一致性，并在半成本下达到81.25%的匹配，显著优于传统方法（Monte-Carlo p=0.039）。
🎯 应用场景
该研究的潜在应用领域包括自动化软件测试、智能机器人系统和其他依赖于组合机器学习的应用场景。通过优化回归测试选择，能够显著降低测试成本，提高系统的可靠性和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Compositional machine-learning (ML) systems assemble runtime behavior from libraries of independently re-trained capability modules. Replacing one module raises a regression-testing question that static dependence analysis cannot answer: which existing compositions stay valid, and at what test cost? We frame capability updates as regression test selection (RTS) and contribute four results. First, a paired cross-version swap protocol isolates the marginal effect of a single module update. Second, on two contact-rich manipulation tasks we characterize a dominant-skill effect: one capability module reaches 88.0% atomic success while siblings stay at or below 32.0%, and its inclusion shifts composition success by up to 52 percentage points; a controlled weight-space interpolation tracks composition success against atomic quality point-by-point (pooled Pearson r=0.94), and the effect replicates on a second task, where the governing module must lie on the critical path of the phase sequence. Third, off-policy behavioral-distance metrics fail to identify the dominant module. Fourth, a margin-gated Hybrid Selector matches full revalidation at zero per-decision test cost (75.0% gold-label agreement, with no detectable difference) and reaches 81.25% match at half of full-revalidation cost, beating a cost-matched random budget (Monte-Carlo p=0.039). A resolution analysis shows that coarse evaluation overstates the apparent advantage of full revalidation. The atomic-quality probe gives a principled test-selection criterion for capability-update regression testing in compositional ML systems.