VT-MUSE: Multimodal Unified Sequential Visuotactile Representation Learning for Manipulation

📄 arXiv: 2608.21290v1 📥 PDF

作者: Congsheng Xu, Qiaochu Yang, Fangyuan Shi, Yifan Han, Baijun Chen, Yiming Wang, Haonan Zhao, Daolin Ma, Xiaokang Yang, Hesheng Wang

分类: cs.RO, cs.CV

发布日期: 2026-08-21

💡 一句话要点

提出VT-MUSE以解决多模态操作中的跨模态依赖问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视觉触觉融合 序列表示学习 条件变分模型 机器人操作

📋 核心要点

  1. 现有方法往往独立处理视觉和触觉信息，无法有效捕捉跨模态之间的细粒度依赖关系。
  2. VT-MUSE通过两阶段的表示学习框架，联合适应模态特定编码器，并利用条件变分潜在模型处理视觉和触觉信息。
  3. 在仿真基准上，VT-MUSE在所有任务上超越最强基线11个百分点，并在真实世界实验中表现出显著提升。

📝 摘要（中文）

我们提出了VT-MUSE，一个用于视觉触觉操作的多模态统一序列表示学习框架。现有方法通常独立编码视觉和触觉观察，限制了捕捉细粒度跨模态依赖的能力。此外，大多数方法关注当前时间步的观察，忽视了接触的时间演变。VT-MUSE通过两阶段表示学习框架解决了这两个限制。在第一阶段，特定模态的编码器通过跨模态时间对齐和掩码视图一致性共同适应。在第二阶段，条件变分潜在模型处理掩码视觉序列和完整触觉历史。辅助解码器重建掩码的近期视觉观察并预测触觉深度变化，鼓励潜在表示保留全局视觉上下文和局部接触动态。所学表示随后通过门控交叉注意力集成到轻量级Transformer策略中。在仿真基准上，VT-MUSE在所有任务上比最强基线提高了11个百分点，并在真实世界实验中也取得了显著改善。

🔬 方法详解

问题定义：本论文旨在解决多模态操作中视觉与触觉信息的独立编码问题，现有方法未能有效捕捉跨模态依赖和时间演变。

核心思路：VT-MUSE通过两阶段的表示学习框架，首先联合适应模态特定编码器，然后利用条件变分潜在模型处理视觉和触觉信息，以增强跨模态的关联性和时间动态。

技术框架：VT-MUSE的整体架构分为两个阶段：第一阶段通过跨模态时间对齐和掩码视图一致性共同适应编码器；第二阶段使用条件变分潜在模型处理掩码视觉序列和完整触觉历史，辅助解码器则重建掩码的视觉观察并预测触觉变化。

关键创新：VT-MUSE的主要创新在于通过联合编码和条件变分模型有效捕捉跨模态依赖和时间演变，这与传统方法的独立处理方式有本质区别。

关键设计：在设计中，采用了跨模态时间对齐和掩码视图一致性作为损失函数，确保了模态间的有效对齐，同时使用轻量级Transformer策略集成所学表示以提高操作效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VT-MUSE在仿真基准上超越了最强基线11个百分点，显示出其在多模态操作任务中的优越性能。此外，在真实世界实验中也取得了显著的提升，验证了其实际应用的有效性。

🎯 应用场景

VT-MUSE的研究成果在机器人操作、智能制造和人机交互等领域具有广泛的应用潜力。通过更好地理解和利用视觉与触觉信息的交互，能够提升机器人在复杂环境中的操作能力，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

We propose VT-MUSE, a Multimodal Unified SEquential representation learning framework for visuotactilemanipulation. Existing approaches often encode visual and tactile observations independently before fusion, limiting their ability to capture fine-grained cross-modal dependencies. Moreover, most methods focus on observations at the current time step and overlook the temporal evolution of contact. VT-MUSE addresses both limitations through a two-stage representation learning framework. In Stage I, modality specific encoders are jointly adapted via cross-modal temporal alignment and masked-view consistency. In Stage II, a conditional variational latent model processes masked visual sequences together with full tactile histories. Auxiliary decoders reconstruct the masked recent visual observations and predict tactile depth changes, encouraging the latent representation to retain both global visual context and local contact dynamics. The learned representation is subsequently integrated into a lightweight Transformer policy through gated cross-attention. On the simulation benchmark, VT-MUSE outperforms the strongest baseline evaluated on all tasks by 11 percentage points and also achieves substantial improvements in real-world experiments.