GaussianWAM: Distilling Geometry and Semantics from 3D Gaussian Fields into World-Action Models

📄 arXiv: 2608.24714v1 📥 PDF

作者: Zijian Zhang, Yuqing Jiang, Weitao Zhou, Minglei Li, Jinhao Zhang, Yao Mu, Xiaofan Li, Hao Zhao, Haibao Yu

分类: cs.RO

发布日期: 2026-08-25

备注: 13 pages, 5 figures

💡 一句话要点

提出GaussianWAM以增强世界行动模型的几何与语义表示

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 世界行动模型 几何蒸馏 语义表示 机器人操作 多视角学习 高斯场 深度学习 视觉预测

📋 核心要点

  1. 现有的世界行动模型在优化视频潜在表示时，未能有效保留几何结构和语义信息，限制了其在机器人操作中的应用。
  2. 本文提出的GaussianWAM通过3D高斯场组织几何和语义监督，增强了WAM的表示能力，提升了未来视觉预测和动作生成的效果。
  3. 在LIBERO-Plus数据集上，GaussianWAM将FastWAM的性能从52.05%提升至71.29%，Cosmos Policy从71.52%提升至77.30%，显示出显著的性能改进。

📝 摘要（中文）

世界行动模型（WAMs）联合学习未来视觉预测和动作生成，但现有方法在视频潜在表示中未能有效保留几何结构和语义信息。本文提出GaussianWAM，一个通过3D高斯场组织几何和语义监督的训练时表示增强框架。该框架利用同步的多视角观测，结合冻结的几何和视觉基础模型，提供深度、相机参数和密集语义特征。GaussianWAM将这些异构信号绑定到共享的高斯原语中，并渲染空间对齐的语义、深度和覆盖目标，最终将其蒸馏到WAM的当前观测表示中。实验结果表明，GaussianWAM在LIBERO-Plus数据集上显著提升了FastWAM和Cosmos Policy的性能，证明了几何和语义监督的有效性。

🔬 方法详解

问题定义：本文旨在解决现有世界行动模型在视频潜在表示中未能有效保留几何结构和语义信息的问题。这限制了模型在复杂环境中的表现和应用。

核心思路：GaussianWAM通过引入3D高斯场来组织几何和语义监督，利用多视角观测提供的深度和语义特征，增强WAM的表示能力，从而改善未来视觉预测和动作生成的效果。

技术框架：GaussianWAM的整体架构包括多个模块：首先，利用冻结的几何和视觉基础模型获取深度、相机参数和密集语义特征；其次，将这些异构信号绑定到共享的高斯原语中；最后，渲染空间对齐的目标并将其蒸馏到WAM的当前观测表示中。

关键创新：GaussianWAM的核心创新在于通过3D高斯场实现几何和语义的有效融合，这与现有方法的单一视觉预测优化策略形成鲜明对比，显著提升了模型的表现。

关键设计：在设计中，GaussianWAM采用了特定的损失函数来平衡几何和语义信息的贡献，并确保在训练后移除所有教师模型和辅助预测头，保持WAM的原始推理路径不变。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GaussianWAM在LIBERO-Plus数据集上将FastWAM的性能从52.05%提升至71.29%，Cosmos Policy从71.52%提升至77.30%。这些结果表明，空间组织异构教师信号的有效性，显著提升了模型的整体性能。

🎯 应用场景

GaussianWAM的研究成果在机器人操作、自动驾驶和增强现实等领域具有广泛的应用潜力。通过有效整合几何和语义信息，该模型能够提升机器人在复杂环境中的决策能力和操作精度，推动智能机器人技术的发展。

📄 摘要（原文）

World-Action Models (WAMs) jointly learn future visual prediction and action generation, using video dynamics as a representation-learning signal for robotic manipulation. However, their video latents are primarily optimized for visual prediction and are not explicitly encouraged to preserve cross-view geometric structure or spatially localized, object-relevant semantics. We propose \textbf{GaussianWAM}, a training-time representation-enhancement framework that organizes geometric and semantic supervision through a 3D Gaussian field. Given synchronized multi-view observations, frozen geometry and vision foundation models provide depth, camera parameters, and dense semantic features. GaussianWAM binds these heterogeneous signals to shared Gaussian primitives and renders spatially aligned semantic, depth, and coverage targets, which are distilled into the current-observation representations of the WAM. All teacher models, Gaussian components, and auxiliary prediction heads are removed after training, leaving the original WAM inference path without additional modules or forward computation. On LIBERO-Plus, GaussianWAM improves FastWAM from 52.05\% to 71.29\% and Cosmos Policy from 71.52\% to 77.30\%. Direct CLIP and VGGT distillation already establishes a strong FastWAM baseline of 69.37\%, while Gaussian-field unification further improves it to 71.29\%, supporting the benefit of spatially organizing heterogeneous teacher signals. GaussianWAM also improves performance on standard LIBERO and shows positive transfer trends on RoboTwin and real-world manipulation. These results suggest that training-time Gaussian distillation provides a practical way to inject geometry- and semantics-related supervision into WAM representations without changing their deployment architecture.