Seeing Through the Illusion: Test-Time Scaling for World Action Models

📄 arXiv: 2611.03585v1 📥 PDF

作者: Cheikh Ahmed, Mahdi Mostajabdaveh, Milad Yazdani, Zirui Zhou

分类: cs.RO

发布日期: 2026-11-02

备注: Accepted at the CoRL 2026 Workshop on From Generative Models to Robot Actions (G2A)

💡 一句话要点

提出WISE以解决世界动作模型的决策有效性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界动作模型 动作选择 闭环控制 机器人技术 智能决策

📋 核心要点

  1. 现有的世界动作模型在生成合理预测时，往往无法保证其生成的动作能够实现这些预测，导致决策有效性不足。
  2. 本文提出的WISE方法通过对候选动作进行多维评分，选择最优动作，从而提升了决策的有效性和成功率。
  3. 实验结果显示，WISE在RoboLab的闭环成功率从6.0%提升至24.0%，在LIBERO的平均成功率从75.1%提升至78.3%。

📝 摘要（中文）

世界动作模型（WAMs）能够共同生成动作和想象的未来，但并非所有合理的预测都能通过其共同生成的动作实现。本文提出了WISE（世界动作推理缩放评估），这是一个预执行选择器，通过对每个采样的回滚进行评分，评估动作有效性、时间规律性、逆动力学一致性以及指令条件下的任务进展，最终执行得分最高的候选动作。实验结果表明，WISE在RoboLab和LIBERO环境中显著提高了闭环成功率，超越了现有最佳选择器。

🔬 方法详解

问题定义：本文旨在解决世界动作模型在生成动作时，预测与实际执行之间的有效性问题。现有方法未能充分考虑动作的有效性和一致性，导致成功率低下。

核心思路：WISE方法通过对每个候选动作进行多维度评分，评估其有效性和一致性，从而选择最佳动作执行。该设计旨在提高决策的准确性和成功率。

技术框架：WISE的整体架构包括候选动作生成、评分模块和选择执行模块。首先生成多个候选动作，然后对其进行评分，最后选择得分最高的动作进行执行。

关键创新：WISE的主要创新在于引入了多维评分机制，包括动作有效性、时间规律性和任务进展等，显著提升了选择的准确性，与现有方法相比具有本质区别。

关键设计：在评分过程中，采用了逆动力学一致性作为重要指标，并通过实验验证了不同评分标准对候选动作的影响，发现任务进展在决策中占据最大权重。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

WISE方法在RoboLab环境中将闭环成功率从6.0%提升至24.0%，在LIBERO环境中将平均成功率从75.1%提升至78.3%。此外，WISE在整体性能上超越了现有最佳选择器，分别提高了4.0和0.9个百分点，显示出其显著的效果提升。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能家居等场景。在这些领域中，能够有效预测和执行动作的系统将显著提升其智能化水平和用户体验。未来，WISE方法有望推动更复杂任务的自动化执行。

📄 摘要（原文）

World action models (WAMs) jointly generate actions and imagined futures, but a plausible prediction need not be realized by its co-generated action. We introduce WISE (\emph{World Action Inference Scaling through Evaluation}), a pre-execution selector that scores each sampled rollout on action validity and temporal regularity, inverse-dynamics consistency between the proposed action and the imagined motion, and instruction-conditioned task progress, and executes the highest-scoring candidate while keeping the WAM frozen. With four candidates per decision, WISE raises closed-loop success from 6.0\% to 24.0\% on RoboLab with Cosmos~3 Edge and from 75.1\% to 78.3\% mean success on LIBERO with DreamZero, and exceeds the best existing selector in aggregate by 4.0 and 0.9 points. Component ablations and agreement analyses show that the three scores rank candidates differently and that task progress carries the largest weight in the fused decision.