MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

📄 arXiv: 2606.17598v1 📥 PDF

作者: Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

分类: cs.RO, cs.CV

发布日期: 2026-06-16

💡 一句话要点

提出MuseVLA以解决机器人多模态感知不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态感知 机器人操作 视觉-语言-动作 传感器集成 数据合成

📋 核心要点

  1. 现有的机器人视觉-语言-动作模型主要依赖RGB图像，无法有效感知温度、声音等物理属性，限制了其应用范围。
  2. MuseVLA通过集成多种传感器，生成传感器令牌和目标描述，灵活选择感知模态，从而增强机器人对环境的感知能力。
  3. 在真实机器人上进行的实验表明，MuseVLA在多模态感知任务中取得了80.6%的成功率，显著优于传统方法，且具备良好的泛化能力。

📝 摘要（中文）

人类在与物理世界互动时，自然利用多种感知模态，而大多数机器人视觉-语言-动作（VLA）模型仅依赖RGB观察，限制了它们感知难以从RGB相机推断的物理属性的能力。本文提出MuseVLA，一种自适应多模态感知VLA模型，集成了新型传感器作为机器人操作的按需工具。MuseVLA根据任务指令和视觉上下文生成传感器令牌和目标描述，选择要调用的感知模态及其关注点。然后，将选定的传感器测量转换为一个统一的中间表示，便于多模态融合和动作生成。通过引入数据合成管道，MuseVLA能够在未见过的传感器引导任务上实现良好的泛化能力。实验结果表明，MuseVLA在复杂的灵巧手操作任务中表现出80.6%的成功率，显著优于RGB-only和多传感器VLA基线，并展现出强大的零-shot能力。

🔬 方法详解

问题定义：本论文旨在解决现有机器人视觉-语言-动作模型在多模态感知方面的不足，尤其是无法有效利用RGB以外的传感器数据来感知物理属性的问题。

核心思路：MuseVLA的核心思路是通过生成传感器令牌和目标描述，动态选择合适的传感器模态进行任务执行，从而实现更全面的环境感知。

技术框架：MuseVLA的整体架构包括任务指令解析、传感器选择、传感器数据转换和动作生成四个主要模块。首先解析任务指令，然后生成传感器令牌，接着将传感器数据转换为统一的中间表示，最后进行动作生成。

关键创新：最重要的创新在于将传感器特定的处理与VLA主干解耦，使得不同模态的集成更加高效，且能够灵活应对多样化的感知需求。

关键设计：在设计中，MuseVLA采用了数据合成管道，将现有的RGB视频数据集与生成的传感器图像结合，减少了对昂贵的多传感器数据集的需求，同时提升了模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MuseVLA在真实机器人上进行的实验中，平均成功率达到80.6%，显著优于仅依赖RGB的模型和其他多传感器VLA基线，展现出强大的零-shot能力，能够处理未见过的传感器引导任务，证明了其在多模态感知领域的有效性。

🎯 应用场景

MuseVLA的研究成果在机器人操作、智能家居、自动驾驶等领域具有广泛的应用潜力。通过增强机器人对环境的多模态感知能力，能够实现更复杂的任务，如温度引导的物品抓取、声音驱动的物体搜索等，推动智能机器人技术的进步与普及。

📄 摘要（原文）

Humans naturally leverage diverse sensing modalities to interact with the physical world, while most Vision-Language-Action (VLA) models for robotics rely solely on RGB observations. This limits their ability to perceive physical properties that are difficult or impossible to infer from RGB cameras, such as temperature, sound, or radar response. We present MuseVLA, an adaptive multimodal sensing VLA model that integrates novel sensors as on-demand tools for robotic manipulation. Given a task instruction and visual context, MuseVLA first generates a sensor token and target description that select the sensing modality to invoke and what to attend to, analogous to a tool call with arguments. It then converts the selected sensor measurement into a grounded sensor image, a unified intermediate representation that encodes heterogeneous readings for multimodal fusion and action generation. This design decouples sensor-specific processing from the VLA backbone, enabling efficient integration of diverse modalities. To reduce the need for expensive multisensory robot datasets, we further introduce a data synthesis pipeline that augments existing RGB video datasets with grounded sensor images, enabling generalization to unseen sensor-guided tasks. We evaluate MuseVLA on a real-world robot across challenging dexterous hand manipulation tasks that require multimodal sensing inputs, including temperature-guided pick-and-place, audio-driven object search, and radar-assisted hidden object retrieval. MuseVLA achieves 80.6% success rate on average, outperforming RGB-only and multisensory VLA baselines significantly, and exhibits strong zero-shot capabilities on unseen tasks.