Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation
作者: Stefan Hut, Lorenzo Masoero
分类: cs.CL, cs.AI, stat.AP
发布日期: 2026-08-03
备注: Accepted as a workshop paper at https://www.aiagentbehavior.com/
💡 一句话要点
提出模拟随机对照试验框架以优化A/B测试结果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: A/B测试 模拟随机对照试验 AI代理 实验设计 数据驱动决策
📋 核心要点
- 现有A/B测试方法消耗大量资源，且结果验证周期长，影响实验效率。
- 提出模拟随机对照试验（S-RCT）框架，通过AI代理模拟实验结果，减少真实流量消耗。
- 实验结果显示，经过校准和设计优化，预测误差显著降低，提升了实验的准确性。
📝 摘要（中文）
A/B测试是技术行业推出新功能的标准方法，但每次实验都消耗真实流量、工程资源和时间。本文探讨AI代理是否能够基于行为特征和干预的上下文描述，准确模拟结果，以便在投入真实流量前验证候选方案。我们将此问题形式化为模拟随机对照试验（S-RCT），并提出了一个两层误差分解方法，能够将代理近似误差与子采样误差分开，从而针对性地改进。通过对67个历史营销A/B测试的验证，基线S-RCT使用现成的基础模型捕捉到方向信号，但系统性地高估了效应幅度。经过两阶段的预期校准协议，平方预测误差减少了约77倍，而在被试内设计中，每个代理接触两个实验组，标准误差减少了约2.4倍。
🔬 方法详解
问题定义：本文旨在解决传统A/B测试中资源消耗大、验证周期长的问题。现有方法依赖真实流量进行实验，导致效率低下和高成本。
核心思路：提出模拟随机对照试验（S-RCT）框架，利用AI代理基于行为特征和上下文描述模拟实验结果，从而在真实流量投入前进行候选方案的验证。
技术框架：整体架构包括两个主要模块：第一层为代理模型，负责模拟实验结果；第二层为误差分解模块，分离代理近似误差与子采样误差。通过两阶段的预期校准和被试内设计优化，提高模拟的准确性。
关键创新：最重要的创新在于提出了两层误差分解方法，使得针对性改进成为可能。这一方法与传统A/B测试的直接依赖真实流量的方式形成鲜明对比。
关键设计：在模型设计中，采用了现成的基础模型进行初步模拟，随后通过两阶段校准协议和被试内设计优化，显著降低了平方预测误差和标准误差。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基线S-RCT使用现成基础模型时，方向信号重叠度达到0.70，但效应幅度系统性高估。经过两阶段校准后，平方预测误差减少约77倍，而被试内设计使标准误差降低约2.4倍，显著提升了模拟的准确性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括在线营销、产品开发和用户体验优化等。通过模拟A/B测试结果，企业可以在不消耗真实流量的情况下，快速验证新功能的有效性，从而提高决策效率和降低成本。未来，该框架有望在更多行业中推广应用，推动实验设计的智能化和自动化。
📄 摘要（原文）
A/B testing remains the standard for rolling out new features in the technology industry. Each experiment, however, consumes real traffic, engineering effort, and weeks of wall-clock time. Can AI agents---conditioned on behavioral profiles and contextual descriptions of the intervention---simulate outcomes accurately enough to vet candidate treatments before committing live traffic? We formalize this question as a \emph{Simulated Randomized Controlled Trial} (S-RCT) and derive a two-layer error decomposition that separates agent approximation error from subsampling error, enabling targeted improvements to each. The framework is agent-agnostic: any behavioral model---from a fine-tuned specialist to a general-purpose foundation model---can serve as the simulation engine. Validated on 67 historical marketing A/B tests, a baseline S-RCT using an off-the-shelf foundation model captures directional signal (sign overlap 0.70) but systematically overshoots effect magnitudes. A two-phase pre-period calibration protocol reduces the squared prediction error (after removing irreducible measurement noise) by ${\sim}77\times$; a within-subject design---where each agent is exposed to both arms---reduces standard errors by ${\sim}2.4\times$. We discuss limitations of the current approach and identify applications where experimenters stand to benefit from agentic signals.