VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation

📄 arXiv: 2607.02503v1 📥 PDF

作者: Shuai Tian, Yupeng Zheng, Yuhang Zheng, Songen Gu, Yujie Zang, Yuxing Qin, Weize Li, Haoran Li, Wenchao Ding, Dongbin Zhao

分类: cs.RO

发布日期: 2026-07-02

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出VT-WAM以解决接触丰富操控中的动态建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉-触觉融合 接触丰富操控 动作预测 触觉动态建模 机器人技术

📋 核心要点

  1. 现有的视觉-触觉策略在处理接触丰富操控时，未能有效建模触觉变形动态，导致性能不足。
  2. VT-WAM通过引入不对称混合变换器注意力和接触门控的动作-视觉-触觉注意力引导，提升了触觉信息在动作生成中的作用。
  3. 在六个接触丰富的操控任务中，VT-WAM的成功率达71.67%，显著优于现有方法，验证了其有效性。

📝 摘要（中文）

接触丰富的操控需要策略对局部变形、压力、滑动和摩擦等线索作出反应，但这些线索在视觉观察中往往是稀疏且不可见的。现有的视觉-触觉策略通常直接将触觉观察输入到动作预测中，但很少在动作生成过程中建模触觉变形动态。本文提出了VT-WAM，一个视觉-触觉世界动作模型，在统一的流匹配框架内共同学习未来视觉预测、触觉变形预测和动作预测。VT-WAM引入了不对称混合变换器（MoT）注意力机制，以连接第一帧视觉锚点与时间触觉动态，并采用接触门控的动作-视觉-触觉注意力引导（AVTAG），鼓励动作查询在接触阶段依赖触觉证据。在六个真实世界的接触丰富操控任务中，VT-WAM实现了71.67%的平均成功率，分别比Fast-WAM和OmniVTLA提高了26.67%和35.84%。

🔬 方法详解

问题定义：本文旨在解决接触丰富操控中对触觉变形动态建模不足的问题。现有方法往往忽视了触觉信息在动作生成过程中的重要性，导致策略反应不够灵敏。

核心思路：VT-WAM的核心思路是将视觉预测、触觉变形预测和动作预测整合在一个统一的框架中，通过引入新的注意力机制来增强触觉信息的利用。

技术框架：VT-WAM的整体架构包括三个主要模块：视觉预测模块、触觉变形预测模块和动作预测模块。通过流匹配机制，这些模块能够协同工作，提升整体性能。

关键创新：VT-WAM的主要创新在于引入了不对称混合变换器注意力机制和接触门控的动作-视觉-触觉注意力引导，这些设计使得模型能够更有效地利用触觉信息，尤其是在接触阶段。

关键设计：在模型设计中，采用了特定的损失函数来平衡视觉和触觉信息的学习，同时在网络结构上进行了优化，以确保触觉动态能够在动作生成中得到充分考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VT-WAM在六个接触丰富的操控任务中实现了71.67%的平均成功率，分别比Fast-WAM和OmniVTLA提高了26.67%和35.84%。这些结果表明，建模触觉变形动态和引导接触阶段的触觉注意力对提升操控性能至关重要。

🎯 应用场景

VT-WAM的研究成果在机器人操控、智能制造和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操控能力，该模型能够推动智能机器人在实际场景中的应用，提升工作效率和安全性。

📄 摘要（原文）

Contact-rich manipulation requires policies to react to local deformation, pressure, slip, and friction, yet these cues are temporally sparse and often invisible in visual observations. Existing visual-tactile policies usually feed tactile observations directly into action prediction, but rarely model tactile deformation dynamics during action generation. In this paper, we introduce VT-WAM, a Visual-Tactile World Action Model that jointly learns future visual prediction, tactile deformation prediction, and action prediction within a unified flow matching framework. In particular, VT-WAM introduces (1) Asymmetric Mixture-of-Transformers (MoT) attention to bridge a first-frame visual anchor with temporal tactile dynamics, and (2) contact-gated Action-Visual-Tactile Attention Guidance (AVTAG) to encourage action queries to rely on tactile evidence during contact phases. Across six real-world contact-rich manipulation tasks, VT-WAM achieves a 71.67% average success rate, outperforming Fast-WAM by 26.67% and OmniVTLA by 35.84%. Ablations demonstrate that modeling tactile deformation dynamics and guiding contact-phase tactile attention are both important for contact-rich tasks. Project website: https://vt-wam.github.io/.