Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention

📄 arXiv: 2606.26663v1 📥 PDF

作者: Siyu Wu, Linjing You, Junjie Zhu, Yaozu Liu, Changhao Zhang, Jian Liu, Weiqiang Wang, Qi Li, Jituo Li, Hengshuang Zhao

分类: cs.RO

发布日期: 2026-06-25

备注: Submitted to RSS2026 WorkShop Tactile for FM

💡 一句话要点

提出Tactile-WAM以解决接触丰富操作中的视觉预测不足问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 触觉感知 世界动作模型 非对称注意机制 机器人操作 视觉预测 接触丰富任务 动作生成

📋 核心要点

  1. 现有的世界动作模型在处理接触丰富的操作时，常常面临视觉预测不足的问题，导致未来状态的物理完整性缺失。
  2. 本文提出的Tactile-WAM通过引入触觉非对称注意机制，结合VideoClean掩码和触觉偏置，有效解决了触觉污染问题。
  3. 在ManiFeel数据集上，Tactile-WAM的整体成功率提高了38.9%，在接触丰富任务上更是提升了86%，显示出显著的性能改进。

📝 摘要（中文）

世界动作模型（WAMs）生成动作及其预测未来，为机器人决策提供强大接口。然而，在接触丰富的操作中，视觉上合理的未来预测可能在物理上是不完整的。插入、组装、搜索和重新定位等任务常常依赖于滑动、卡滞、接触法线或小的对齐误差，这些在RGB图像中往往难以捕捉。为了解决这一问题，本文提出了Tactile-WAM，一个具有触觉非对称注意机制（TAAM）的触觉感知WAM。TAAM结合了VideoClean掩码和触觉偏置，保护视觉预测的同时，保持接触信息可用于动作生成。实验结果表明，Tactile-WAM在ManiFeel数据集上整体成功率提高了38.9%，在接触丰富任务上提高了86%。

🔬 方法详解

问题定义：本文旨在解决在接触丰富操作中，现有视觉预测模型无法准确捕捉未来状态的物理完整性的问题。现有方法在处理滑动、卡滞等接触信号时，容易受到视觉噪声的影响，导致预测不准确。

核心思路：论文提出的Tactile-WAM通过引入触觉非对称注意机制（TAAM），有效地将触觉信息与视觉信息分离，避免触觉污染对视觉预测的干扰，从而提高动作生成的准确性。

技术框架：Tactile-WAM的整体架构包括视频清理模块（VideoClean），该模块通过掩码机制保护视觉预测，同时允许触觉信息用于动作生成。TAAM还引入了触觉偏置，以增强对触觉信号的关注。

关键创新：最重要的技术创新在于引入了VideoClean掩码和触觉非对称注意机制，这一设计有效地解决了触觉污染问题，使得视觉和触觉信息能够更好地协同工作。

关键设计：在网络结构上，TAAM结合了触觉信号的预测变化，设计了特定的损失函数以平衡视觉和触觉信息的权重，同时优化了注意力机制，以增强对触觉信号的响应。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Tactile-WAM在ManiFeel数据集上的整体成功率提高了38.9%，在接触丰富任务上更是提升了86%。这些结果表明，Tactile-WAM在处理复杂接触场景时，显著优于现有的视觉预测模型，展示了其强大的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、装配和人机交互等接触丰富的操作场景。通过提高机器人在复杂环境中的操作能力，Tactile-WAM能够显著提升自动化系统的效率和可靠性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

World Action Models (WAMs) generate actions together with predicted futures, offering a powerful interface for robot decision making. In contact-rich manipulation, however, visually plausible futures can be physically incomplete: insertion, assembly, search, and reorientation often depend on slip, jamming, contact normals, or small alignment errors that are weakly visible or hidden in RGB. A natural solution is to predict future tactile states, however, we identify tactile pollution, a failure mode where unconstrained tactile-token injection degrades video and action prediction by forcing a visual dynamics model to absorb sparse, local, event-driven contact signals. To address this, we propose Tactile-WAM, a touch-aware WAM with a Tactile Asymmetric Attention Mechanism (TAAM). TAAM combines a VideoClean mask, which blocks video-query access to tactile key/value tokens while preserving action-query access, with a touch-aware bias for action attention. The VideoClean mask protects visual prediction while keeping contact information available for action generation; the touch-aware bias is derived from predicted touch changes and modulates action attention to tactile tokens during denoising. On ManiFeel, Tactile-WAM improves the mean success rate by 38.9% overall and by 86% on contact-rich tasks.