TacWAM: Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction
作者: Lei Jin, Yiding Ma, Xin Zhang, Chen Gao, Wei Wu, Yong Li
分类: cs.RO
发布日期: 2026-07-30
备注: 8 pages, 4 figures, 2 tables
💡 一句话要点
提出TacWAM以解决接触丰富操作中的力学感知问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 世界动作模型 触觉预测 力学感知 多模态融合 机器人操作 接触丰富任务
📋 核心要点
- 现有的世界动作模型主要依赖视觉信息，无法有效处理接触操作中的力学信息，导致动作生成的局限性。
- TacWAM通过引入力学感知的触觉预测，利用空间对齐融合编码器和触觉历史编码器，增强了对接触状态的理解。
- 在四个真实世界的操作任务中，TacWAM的成功率达75.0%，显著优于现有基线，验证了其有效性。
📝 摘要（中文）
世界动作模型（WAMs）结合了未来状态预测与机器人动作生成，但现有方法主要依赖视觉未来，无法有效捕捉接触操作中的力、变形、剪切和滑动等物理信息。为此，本文提出TacWAM，一个力学感知的触觉WAM，分三步解决这一挑战。首先，空间对齐融合触觉编码器将触觉外观、密集力场和变形流映射到共享的潜在预测空间。其次，触觉历史编码器提供时间上下文，使未来触觉预测能够反映力和变形的变化。最后，锚点引导的三模态注意力机制将当前视觉和触觉锚点、未来预测标记和动作标记分开，使未来触觉状态能够在训练中提供监督而不直接被动作分支读取。TacWAM在四个真实世界的接触丰富操作任务中评估，成功率达到75.0%，超出最强基线37.5个百分点。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在接触丰富操作中对力学信息捕捉不足的问题，现有方法主要依赖视觉信息，无法有效处理力、变形等物理特征。
核心思路：TacWAM通过引入力学感知的触觉预测，结合空间对齐融合编码器和触觉历史编码器，提供更全面的接触状态理解，确保触觉信息在动作生成中的有效利用。
技术框架：TacWAM的整体架构包括三个主要模块：空间对齐融合触觉编码器、触觉历史编码器和锚点引导的三模态注意力机制。前者负责将触觉信息映射到共享潜在空间，后者提供时间上下文，最后一个模块则确保未来触觉状态的有效监督。
关键创新：TacWAM的核心创新在于其力学感知的触觉预测能力，通过将触觉信息与视觉信息分离，避免了触觉信息在动作生成中的优先权，提升了模型的泛化能力。
关键设计：在设计中，采用了双向力和扭矩重建以保留全局接触信息，损失函数设计上确保了触觉历史的有效利用，网络结构上则通过多模态融合实现信息的高效整合。
🖼️ 关键图片
📊 实验亮点
TacWAM在四个真实世界的接触丰富操作任务中取得了75.0%的成功率，超出最强基线37.5个百分点。实验结果表明，触觉历史的引入和未来预测目标的有效利用显著提升了模型的性能。
🎯 应用场景
TacWAM的研究成果在机器人操作、自动化制造、医疗机器人等领域具有广泛的应用潜力。通过增强机器人对接触状态的理解，能够提升其在复杂环境中的操作能力，推动智能机器人技术的发展。
📄 摘要（原文）
World Action Models (WAMs) combine future-state prediction with robot action generation, but existing approaches largely rely on visual futures. Visual prediction captures scene structure and object motion, yet provides limited supervision for force, deformation, shear, and slip during contact-rich manipulation. This creates two design requirements: tactile futures should carry meaningful physical information, and they should not become privileged cues for action generation. We present TacWAM, a mechanics-aware tactile WAM that addresses this challenge in three steps. First, a Spatially Aligned Fusion (SAF) Tactile Encoder maps tactile appearance, dense force fields, and deformation flow into a shared latent prediction space, with bilateral force and torque reconstruction preserving global contact information. Second, a tactile history encoder provides temporal context so future tactile prediction reflects how force and deformation change beyond the current tactile observation. Third, Anchor-Guided Tri-Modal (AGT) Attention separates current visual and tactile anchors, future prediction tokens, and action tokens, allowing future tactile states to supervise training without being directly read by the action branch. We evaluate TacWAM on four real-world contact-rich manipulation tasks covering fragile grasping, sustained surface contact, and dynamic in-hand manipulation. TacWAM achieves an average success rate of 75.0%, exceeding the strongest evaluated baseline by 37.5 percentage points. Staged ablations show consistent degradation when tactile history is removed and access to future prediction targets is relaxed. These results indicate that future tactile supervision can improve contact-aware action learning when combined with informative tactile representations and deployment-consistent information constraints.