VT-WAM: Visual-Tactile World Action Model for Contact-Rich Manipulation
作者: Shuai Tian, Yupeng Zheng, Yuhang Zheng, Songen Gu, Yujie Zang, Yuxing Qin, Weize Li, Haoran Li, Wenchao Ding, Dongbin Zhao
分类: cs.RO
发布日期: 2026-07-05
💡 一句话要点
提出VT-WAM以解决接触丰富操作中的动态建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉-触觉融合 动态建模 机器人操作 动作预测 深度学习
📋 核心要点
- 现有的视觉-触觉策略在处理接触丰富操作时，未能有效建模触觉变形动态，导致策略反应不够灵敏。
- VT-WAM通过引入不对称混合变换器注意力和接触门控的注意力引导，联合学习视觉和触觉信息以提升动作预测的准确性。
- 在六个接触丰富的操作任务中，VT-WAM的成功率显著高于现有方法，验证了其在实际应用中的有效性。
📝 摘要（中文）
接触丰富的操作需要策略对局部变形、压力、滑动和摩擦等信号做出反应，但这些线索在视觉观察中往往是稀疏且不可见的。现有的视觉-触觉策略通常直接将触觉观察输入到动作预测中，但很少在动作生成过程中建模触觉变形动态。本文提出了VT-WAM，一个视觉-触觉世界动作模型，在统一的流匹配框架内共同学习未来视觉预测、触觉变形预测和动作预测。VT-WAM引入了不对称的混合变换器注意力机制，以将第一帧视觉锚点与时间触觉动态连接，并采用接触门控的动作-视觉-触觉注意力引导，鼓励动作查询在接触阶段依赖触觉证据。在六个真实世界的接触丰富操作任务中，VT-WAM实现了71.67%的平均成功率，分别比Fast-WAM和OmniVTLA提升了26.67%和35.84%。
🔬 方法详解
问题定义：本文旨在解决接触丰富操作中，现有视觉-触觉策略未能有效建模触觉变形动态的问题。这导致策略在处理局部变形和接触信号时反应不够灵敏，影响操作成功率。
核心思路：VT-WAM的核心思路是通过一个统一的流匹配框架，联合学习未来的视觉预测、触觉变形预测和动作预测。通过引入不对称混合变换器注意力和接触门控的注意力引导，增强了模型对触觉信息的利用。
技术框架：VT-WAM的整体架构包括三个主要模块：视觉预测模块、触觉变形预测模块和动作预测模块。这些模块通过流匹配机制相互连接，形成一个闭环反馈系统，以提高预测的准确性和一致性。
关键创新：VT-WAM的关键创新在于引入了不对称混合变换器注意力机制，能够有效地将视觉信息与时间触觉动态结合。此外，接触门控的注意力引导使得动作查询在接触阶段能够更好地依赖触觉证据，这在现有方法中是未曾实现的。
关键设计：在模型设计中，采用了特定的损失函数来平衡视觉和触觉预测的权重，同时在网络结构上引入了多层次的注意力机制，以增强模型对不同类型信息的处理能力。
🖼️ 关键图片
📊 实验亮点
VT-WAM在六个接触丰富操作任务中实现了71.67%的平均成功率，分别比Fast-WAM提升了26.67%，比OmniVTLA提升了35.84%。这些结果表明，模型在处理复杂接触动态时的有效性和优越性。
🎯 应用场景
VT-WAM的研究成果在机器人抓取、物体操作和人机交互等领域具有广泛的应用潜力。通过提升机器人在复杂环境中的操作能力，能够实现更高效的自动化生产和智能服务，推动智能机器人技术的发展。
📄 摘要（原文）
Contact-rich manipulation requires policies to react to local deformation, pressure, slip, and friction, yet these cues are temporally sparse and often invisible in visual observations. Existing visual-tactile policies usually feed tactile observations directly into action prediction, but rarely model tactile deformation dynamics during action generation. In this paper, we introduce VT-WAM, a Visual-Tactile World Action Model that jointly learns future visual prediction, tactile deformation prediction, and action prediction within a unified flow matching framework. In particular, VT-WAM introduces (1) Asymmetric Mixture-of-Transformers (MoT) attention to bridge a first-frame visual anchor with temporal tactile dynamics, and (2) contact-gated Action-Visual-Tactile Attention Guidance (AVTAG) to encourage action queries to rely on tactile evidence during contact phases. Across six real-world contact-rich manipulation tasks, VT-WAM achieves a 71.67% average success rate, outperforming Fast-WAM by 26.67% and OmniVTLA by 35.84%. Ablations demonstrate that modeling tactile deformation dynamics and guiding contact-phase tactile attention are both important for contact-rich tasks. Project website:this https URL.