One Verdict Is Not Enough: Regression Testing Learned World Models and Their Test Harnesses

📄 arXiv: 2610.41130v1 📥 PDF

作者: Junyu Huo, Zihao Wan, Ziqi Mao, Gouri Ginde

分类: cs.SE, cs.AI, cs.CV

发布日期: 2026-10-30

💡 一句话要点

提出TetraState以解决学习世界模型回归测试中的不确定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 回归测试 学习模型 测试工具 模型配置 不确定性评估

📋 核心要点

  1. 现有的回归测试方法无法有效处理模型在不同配置下的表现差异，导致测试结果的不确定性。
  2. 本文提出TetraState回归测试协议，通过在四种固定配置下运行测试，提供更全面的结果评估。
  3. 在506个IntPhys 2 Main测试中，尽管准确率变化不大，但测试标签的显著变化揭示了现有方法的不足。

📝 摘要（中文）

学习的世界模型作为软件组件在版本更新时，其模型版本、预处理和测试工具都会发生变化。现有的模型更新工作主要关注每个样本的回归情况，但仍存在两个问题：在不同配置下测试结果可能会不同，且测试工具的故障可能导致错误的评分和判决而不崩溃。为此，本文提出了TetraState，一种针对成对可能/不可能视频测试的回归测试协议。每个测试在四种固定的模型原生配置下运行，结果被分为四个类别，未决测试和失败执行会单独报告。实验结果表明，尽管某些版本的准确率变化不大，但测试标签却发生了显著变化，这为学习组件的配置级回归预言器的研究提供了新方向。

🔬 方法详解

问题定义：本文旨在解决学习世界模型的回归测试中存在的配置不确定性和测试工具故障导致的错误判决问题。现有方法主要关注单一配置下的准确性，未能全面评估模型在不同配置下的表现。

核心思路：论文提出的TetraState协议通过在四种固定的模型原生配置下进行测试，能够更全面地评估模型的表现，并将测试结果分为四个类别，从而提供更可靠的回归测试结果。

技术框架：TetraState的整体架构包括四个主要模块：模型配置管理、测试执行、结果评估和版本控制。每个测试在不同的配置下运行，结果被分类并记录未决测试和失败执行。

关键创新：TetraState的最大创新在于其四类结果分类系统和对测试工具版本控制的引入，使得回归测试不仅关注准确率，还考虑了测试环境的变化对结果的影响。

关键设计：在测试执行阶段，采用固定的模型原生配置进行测试，确保结果的可比性。同时，设计了详细的结果分类标准，以便于后续的分析和比较。

📊 实验亮点

在506个IntPhys 2 Main测试中，尽管V-JEPA 2的准确率仅变化了0.2和2.6点，但测试标签却分别变化了11和214个。这表明现有的准确率检查可能会遗漏重要的回归情况，强调了TetraState方法的必要性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和智能监控等需要高可靠性的学习模型的场景。通过提供更可靠的回归测试机制，能够提高系统的稳定性和安全性，减少因模型更新导致的潜在风险。

📄 摘要（原文）

Learned world models ship as software components whose model versions, preprocessing, and test harnesses change between releases. Work on model updates already counts per-sample regressions, or negative flips, that an accuracy check hides. Two problems remain: a test can pass under one configuration and fail under another, and a harness fault can produce erroneous scores and wrong verdicts without a crash. We present TetraState, a regression-testing protocol for paired possible/impossible video tests. Each test runs under four fixed model-native configurations; its number of correct verdicts assigns one of four outcome classes. Inconclusive tests and failed executions are reported separately alongside the verdict rate. Revisions are compared by per-test outcome transitions, and the harness is versioned as part of the system under test. On all 506 IntPhys 2 Main tests and two heterogeneous systems, Cosmos 3 Nano and V-JEPA 2, two V-JEPA 2 harness revisions move modal accuracy by only 0.2 and 2.6 points yet change 11 and 214 test labels; in the second, accuracy rises although fewer tests are judged correctly, and 43 regressions keep the modal verdict, so a modal-verdict flip check misses them. These results outline a research agenda on configuration-level regression oracles for learned components.