How Much Can Best-of-N Help a World Action Model? Measuring Selectable Headroom and Realizing It in Closed Loop
作者: Haojia Gao, Yue Cao, Yumin Liu, Haohua Que, Mingkai Liu, Guanqiu Guo, Zhuo Zou, Bokui Chen, Xueqian Wang
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-10-27
备注: 24 pages, 12 figures, 14 tables
💡 一句话要点
提出去噪反事实协议以提高世界动作模型的选择性表现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 去噪反事实 动作选择 闭环控制 性能提升
📋 核心要点
- 现有方法在选择最佳动作时，未能准确评估候选动作的质量，导致选择效果不佳。
- 论文提出了一种去噪反事实协议，通过多次延续和共同随机数来准确测量可选择头部，从而优化动作选择。
- 实验表明，使用新方法后，闭环任务的成功率从76.9%提升至81.6%，在未见任务上也有显著提升。
📝 摘要（中文）
世界动作模型（WAMs）预测其生成动作的视觉后果，因此在测试时选择最佳动作是一种自然的改进固定策略的方法。选择的好处受到可选择头部的限制，但标准估计方法混淆了候选质量与随后的随机性。本文提出了一种基于去噪反事实协议的方法，通过多次延续和共同随机数来测量选择器的可实现头部，并利用测量结果构建了一个失败门控选择器。实验结果表明，标准估计过高估计了本地样本的可选择头部，且在闭环任务成功率上有显著提升。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在选择最佳动作时，未能准确评估候选动作质量的问题。标准估计方法混淆了候选质量与随机性，导致可选择头部的高估。
核心思路：提出了一种去噪反事实协议，利用多次延续和共同随机数来准确测量选择器的可实现头部，从而提高动作选择的效果。
技术框架：整体架构包括去噪反事实协议、候选动作的多次延续、持有的预言机和共同随机数的使用。主要模块包括候选动作生成、评估和选择。
关键创新：最重要的创新在于去噪反事实协议的设计，使得选择器能够更准确地评估候选动作的质量，避免了标准估计的高估问题。
关键设计：在参数设置上，使用了17次延续来评估每个候选动作的可选择头部，并设计了失败门控选择器以提高闭环任务的成功率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用去噪反事实协议的选择器在闭环任务上的成功率从76.9%提升至81.6%，在未见任务上从62.6%提升至69.8%。这些结果表明新方法在选择最佳动作时具有显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶和智能决策系统等。通过提高动作选择的准确性，能够显著提升系统在复杂环境中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
World action models (WAMs) predict the visual consequences of the actions they generate, which makes test-time selection a natural way to improve a fixed policy: imagine the futures of candidate actions and execute the best one. The benefit of selection is bounded by the selectable headroom, how much better the best candidate truly is, but the standard estimate, which executes each candidate once and keeps the best outcome, conflates candidate quality with the randomness of everything that follows. We introduce a denoised counterfactual protocol, based on bitwise-reproducible branching, repeated continuations, held-out oracles, and common random numbers, that measures the headroom a selector can realize, and use its measurements to build a fail-gated selector. Across four WAMs, two benchmarks, over 100,000 branched rollouts, and pre-registered tests, we find that (i) the standard estimate overstates the selectable headroom of native samples: bounds from 17 continuations per candidate place its selectable share between 24% and 66% for three WAMs; (ii) structured action perturbations create up to 16 points of selectable headroom; and (iii) in both WAMs with action-conditioned imagination, imagined futures carry candidate-outcome information with no detectable loss relative to real futures, information that the value head of Cosmos Policy leaves unused. Deviating from the policy chunk only when a readout of the WAM predicts failure, the selector raises closed-loop task success from 76.9% to 81.6% on held-out episodes of training tasks, with the largest gain where the policy fails most often, and from 62.6% to 69.8% on unseen tasks.