Should I Use This Synthetic Dataset for Training? How to Test with Minimal Real Data
作者: Zhenyu Tao, Wei Xu, Xiaohu You, Petar Popovski, Osvaldo Simeone
分类: cs.AI
发布日期: 2026-08-28
备注: Submitted to IEEE
💡 一句话要点
提出aeSFT以解决合成数据训练效果评估问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 合成数据 真实数据评估 自适应测试 数字双胞胎 机器学习
📋 核心要点
- 现有方法在合成数据与真实数据之间存在仿真与现实的差距，导致训练效果评估困难。
- 论文提出了自适应e过程符号翻转测试（aeSFT），通过双自适应机制优化测试过程，减少真实数据消耗。
- 实验结果显示，aeSFT在合成数据识别上显著减少真实样本需求，同时保持较低的假阳性率。
📝 摘要（中文）
数字双胞胎和学习的世界模型越来越多地用于生成合成数据，以补充稀缺的真实数据集，从而训练工程系统中的人工智能模型。然而，由于不可避免的仿真与现实之间的差距，合成数据的增强可能无法改善模型在真实数据分布上的性能。本文解决了一个决策问题：给定一个真实数据集和一个候选合成数据集，如何在尽可能少的真实测试数据点的情况下，判断在增强数据集上训练是否能提高模型的真实表现。我们提出了自适应e过程符号翻转测试（aeSFT），这是一种双自适应程序，能够在控制Type-I错误的同时，适应蒙特卡洛符号翻转轮次和真实测试数据的消耗。实验表明，aeSFT在识别有用合成数据时，所需的真实测试样本显著少于基于均值的顺序测试。
🔬 方法详解
问题定义：本文旨在解决在合成数据与真实数据之间存在的仿真与现实差距所带来的训练效果评估问题。现有方法往往需要大量真实数据来验证合成数据的有效性，导致数据消耗高昂。
核心思路：论文提出的aeSFT方法通过自适应调整蒙特卡洛符号翻转轮次和真实测试数据的使用量，旨在以最小的真实数据消耗来判断合成数据的有效性。该方法在控制Type-I错误的同时，避免了预先指定测试集大小的需求。
技术框架：aeSFT的整体架构包括两个主要模块：首先是基于均值损失差异的直接测试，其次是基于对称性的配对损失差异测试。后者通过更强的零假设来加速证据的积累。
关键创新：aeSFT的主要创新在于其双自适应机制，能够动态调整测试过程中的参数设置，显著提高了测试的效率和准确性。与传统的固定样本测试方法相比，aeSFT在样本需求上具有明显优势。
关键设计：aeSFT的设计中，关键参数包括蒙特卡洛符号翻转的轮次和真实测试数据的量，这些参数的自适应调整使得测试过程更加灵活高效。
🖼️ 关键图片
📊 实验亮点
实验结果表明，aeSFT在合成数据识别上所需的真实测试样本数量显著少于基于均值的顺序测试，且其性能与固定样本的符号翻转测试和配对t检验相当，同时保持假阳性率低于目标水平。
🎯 应用场景
该研究的潜在应用领域包括工程系统中的人工智能模型训练，尤其是在合成数据生成和使用日益普及的背景下。通过有效评估合成数据的价值，aeSFT能够帮助研究人员和工程师在数据稀缺的情况下做出更明智的决策，从而提高模型的实际应用效果。
📄 摘要（原文）
Digital twins (DTs) and learned world models are increasingly used to generate synthetic data that augment the scarce real datasets available for training artificial intelligence (AI) models in engineering systems. Owing to the inevitable simulation-to-reality (sim-to-real) gap, however, augmentation may fail to improve the performance of the trained model on the real data distribution. This paper addresses the resulting decision problem: Given a real dataset, a candidate synthetic dataset, and a fixed learning algorithm, decide whether training on the augmented dataset improves the true, population-level performance, while consuming as few real test data points as possible. Two formulations are considered: a direct test on the mean loss difference between the two trained models, and a symmetry-based test on the paired loss difference, which trades a stronger null assumption for faster evidence accumulation. For the latter, we introduce the {adaptive e-process sign-flip test} (aeSFT), a doubly adaptive procedure that adapts both the number of Monte Carlo sign-flip rounds, and hence the computational cost, and the amount of real test data consumed. aeSFT yields anytime-valid Type-I error control, with no need to pre-specify the test-set size. Experiments on a synthetic-data classification task, a DT-aided wireless packet-scheduling task, and a radio-map prediction task show that aeSFT identifies useful synthetic data using substantially fewer real test samples than mean-based sequential testing, matches the power of fixed-sample sign-flip testing and the paired $t$-test, while keeping the false-positive rate below the target level.