Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

📄 arXiv: 2608.10756v1 📥 PDF

作者: Huosen Ou, Dongni Song, Yuncong Wang, Tao Zhou, Yiding Ji

分类: cs.RO, cs.CV

发布日期: 2026-08-11

备注: 9 pages, 11 figures. Accepted to ACM Multimedia 2026 (MM '26)

💡 一句话要点

提出多模态基础框架以解决开放词汇移动操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇 多模态融合 移动操控 语义三维高斯点云 机器人技术 视觉-语言-动作 环境感知

📋 核心要点

  1. 现有方法在开放词汇目标定位与少量操控中面临多模态信息对齐和环境复杂性带来的挑战。
  2. 论文提出了一种集成多视角语义三维高斯点云和扩散策略的多模态基础框架，以提升操控的准确性和鲁棒性。
  3. 在50次真实机器人评估中，该系统实现了60%的长时间成功率，明显优于其他基线方法，尤其在复杂环境中表现突出。

📝 摘要（中文）

本研究针对开放词汇目标定位与少量操控在家庭工作空间中的应用，提出了一种具身多模态基础框架。该框架整合了主动多视角的语义三维高斯点云（Semantic-3DGS）、考虑可达性的基础定位以及基于扩散的视觉-语言-动作策略。通过任务驱动的局部Semantic-3DGS，提供了一个共享接口，支持主动感知、语言条件下的三维定位、障碍物感知场景推理、基础准备及动作模型的语义条件化。实验结果表明，该系统在复杂环境下的操控成功率显著高于现有方法，展示了其在拥挤、遮挡和视角变化下的鲁棒性。

🔬 方法详解

问题定义：本研究旨在解决开放词汇目标定位与少量操控在家庭环境中的多模态信息对齐问题。现有方法在复杂环境中易受遮挡和视角变化影响，导致操控失败。

核心思路：提出的框架通过结合主动多视角的语义三维高斯点云和扩散策略，增强了对环境的理解与操控能力，从而提高了系统的鲁棒性和成功率。

技术框架：整体架构包括多个模块：主动感知模块负责收集多视角信息，语义三维高斯点云模块用于环境建模，障碍物感知模块进行场景推理，基础准备模块确保机器人可达性，最后是基于语言的动作模型进行语义条件化。

关键创新：该研究的主要创新在于引入了动态可刷新三维语义基础，显著提升了在复杂环境下的操控能力，与现有方法相比，提供了更强的环境适应性和鲁棒性。

关键设计：在设计上，系统通过延迟注入三维语义线索到动作专家模块，保持了预训练动作先验的完整性。此外，采用了特定的损失函数和网络结构，以优化多模态信息的融合与处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，该系统在50次真实机器人评估中实现了60%的长时间成功率，相较于PointVLA的40%和DexVLA的28%有显著提升。在拥挤环境下，成功率达到74%，远超单视图变体的52%和PointVLA的46%。

🎯 应用场景

该研究的潜在应用领域包括家庭机器人、服务机器人以及工业自动化等场景。通过提升机器人在复杂环境中的操控能力，能够有效改善人机协作的效率和安全性，未来可能推动智能家居和自动化服务的发展。

📄 摘要（原文）

Embodied mobile manipulation requires language, visual observations, three-dimensional scene structure, and action feasibility to be aligned before execution. We study open-vocabulary target grounding with few-shot manipulation in local household workspaces and present an embodied multimodal grounding framework that integrates active multi-view Semantic 3D Gaussian Splatting (Semantic-3DGS), reachability-aware base positioning, and a diffusion-based vision-language-action policy. A task-driven local Semantic-3DGS serves as a shared interface across active sensing, language-conditioned 3D localization, obstacle-aware scene reasoning, base preparation, and semantic conditioning of the action model. To preserve pretrained action priors, the 3D semantic cues are injected only into the late action-expert blocks. In expanded 50-trial real-robot evaluations against representative vision-language-action (VLA) approaches, the full system achieves 60% long-horizon success compared with 40% for PointVLA and 28% for DexVLA, and reaches 74% success in heavily cluttered manipulation compared with 52% for the single-view variant and 46% for PointVLA. It also maintains 75% success under a 75 cm height shift and eliminates photo-induced false grasps. These results indicate that explicit, refreshable 3D semantic grounding can improve robustness under clutter, occlusion, viewpoint variation, and embodiment constraints.