MaskWAM: Unifying Mask Prompting and Prediction for World-Action Models

📄 arXiv: 2606.13515 📥 PDF

作者: Hanyang Yu, Haitao Lin, Jingbo Zhang, Wenyao Zhang, Chenghao Gu, Heng Li, Ping Tan

分类: cs.CV, cs.LG, cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出MaskWAM以解决WAM中空间瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界行动模型 对象中心 掩码预测 混合变换器 机器人控制 语义监督 视觉提示

📋 核心要点

  1. 现有的世界行动模型在处理杂乱场景时，文本输入导致指代模糊，RGB预测缺乏语义基础。
  2. MaskWAM通过将掩码作为输入和预测，利用混合变换器实现对象中心的语义监督，增强模型性能。
  3. 在多个基准测试中，MaskWAM在语言清晰和模糊任务中均显著超越了现有方法，表现出更强的泛化能力。

📝 摘要（中文）

世界行动模型（WAMs）为机器人控制提供了一种有前景的范式，但现有WAMs面临空间瓶颈：标准文本输入在杂乱场景中引入了指代模糊，而非结构化的RGB预测缺乏语义基础，且受到与任务无关的背景影响。为克服这些限制，本文提出了MaskWAM，一种以对象为中心的世界行动模型。通过将掩码作为显式输入和预测的统一混合变换器（MoT）进行集成，MaskWAM实现了强大的策略泛化。该设计的两个主要优点是：预测未来掩码提供了对象中心的语义监督，显著增强了标准文本条件下的WAMs；将这种预测监督与第一帧视觉提示（如目标对象掩码）结合，建立了精确的空间锚点，显著减少了语言模糊性。评估结果表明，MaskWAM在LIBERO、RoboTwin和现实任务中显著优于基线。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在复杂场景中因文本输入引起的指代模糊和RGB预测缺乏语义基础的问题。这些问题导致模型在执行任务时受到背景干扰，影响了性能。

核心思路：MaskWAM的核心思路是将掩码作为显式输入和预测，利用混合变换器（MoT）进行对象中心的语义监督。这种设计能够有效抑制视觉噪声，并提供更清晰的空间锚点，从而减少语言模糊性。

技术框架：MaskWAM的整体架构包括两个主要模块：一是掩码预测模块，负责生成未来的对象掩码；二是基于掩码的视觉提示模块，结合第一帧的视觉信息，以提供更强的指导。

关键创新：MaskWAM的主要创新在于将掩码的预测与输入结合，形成一种新的对象中心的语义监督机制。这与传统的文本输入方法相比，提供了更强的视觉指导能力。

关键设计：在技术细节上，MaskWAM采用了特定的损失函数来优化掩码预测的准确性，并设计了适应性强的网络结构，以支持多种输入类型的融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，MaskWAM在LIBERO、RoboTwin和现实任务上表现出色，尤其在语言模糊任务中，性能提升幅度超过了基线模型，显示出其在复杂场景下的强大泛化能力。

🎯 应用场景

MaskWAM的研究成果在机器人控制、自动驾驶、智能监控等领域具有广泛的应用潜力。通过提供更准确的对象识别和任务执行能力，该模型能够提升机器人在复杂环境中的操作效率和安全性，推动智能系统的进一步发展。

📄 摘要（原文）

World Action Models (WAMs) present a promising paradigm for robotic control via video prediction. However, current WAMs suffer from fundamental spatial bottlenecks: standard text inputs introduce referential ambiguity in cluttered scenes, while unstructured RGB predictions lack semantic grounding and remain biased by task-irrelevant backgrounds. To overcome these limitations, we introduce MaskWAM, an object-centric world-action model. By jointly integrating masks as both explicit inputs and predictions via a unified Mixture of Transformers (MoT), MaskWAM unlocks robust policy generalization. This design provides two key benefits: (1) predicting future masks yields object-centric semantic supervision that suppresses visual noise, significantly enhancing even standard text-conditioned WAMs; and (2) coupling this predictive supervision with first-frame visual prompts, such as target object masks, establishes a precise spatial anchor that substantially reduces language ambiguity. Crucially, as WAMs are inherently vision-driven architectures, direct mask conditioning yields substantially stronger guidance than text alone, establishing a precise and robust paradigm for manipulating unseen objects. Evaluations on LIBERO, RoboTwin, and real-world tasks demonstrate that MaskWAM significantly outperforms baselines in both language-clear and language-ambiguous tasks.