HiTac-WAM: A Hierarchical Tactile World Action Model for Contact-Rich Robot Manipulation

📄 arXiv: 2608.19574v1 📥 PDF

作者: Chao Xue, Chaofan Zhang, Wenxuan Ma, Guocai Yao, Shaowei Cui, Shuo Wang

分类: cs.RO

发布日期: 2026-08-20

备注: 8 pages, 7 figures, and 3 tables

💡 一句话要点

提出HiTac-WAM以解决接触丰富的机器人操控问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 层次化模型 触觉感知 机器人操控 物理依赖 动作预测 成功率提升

📋 核心要点

  1. 现有的触觉感知模型未能有效建模触觉状态之间的物理依赖关系，导致预测精度不足。
  2. HiTac-WAM通过层次化结构预测未来触觉状态，分解为接触状态、3D变形场和滑动风险，增强了模型的表达能力。
  3. 在多个实际任务中，HiTac-WAM的成功率从31.1%提升至61.1%，整体系统达到了72.2%的成功率，显示出显著的性能提升。

📝 摘要（中文）

世界动作模型共同预测未来的视觉观察和动作，而现有的触觉感知变体通常将未来的触觉表示为图像或潜在流，而未建模组织触觉状态的物理依赖关系。我们提出了HiTac-WAM，一种层次化的触觉世界动作模型，在执行之前预测每个候选动作块的未来触觉状态序列。预测分解为接触状态、3D变形场和滑动风险，组织为一个有向层次结构，其中每个下游阶段依赖于前面阶段的停止梯度信号。通过层次化预测引导选择，HiTac-WAM在多个任务中显著提高了机器人成功率。

🔬 方法详解

问题定义：本论文旨在解决现有触觉感知模型在预测未来触觉状态时未能有效建模物理依赖关系的问题。这导致了在复杂接触场景下的预测精度不足，影响了机器人操控的成功率。

核心思路：HiTac-WAM的核心思想是通过层次化的结构来预测未来的触觉状态，将预测分解为接触状态、3D变形场和滑动风险。这种设计使得模型能够更好地捕捉触觉状态之间的依赖关系，从而提高预测的准确性。

技术框架：HiTac-WAM的整体架构包括多个模块：首先是候选动作块的生成，其次是对每个候选块进行触觉状态的预测，最后通过层次化的结构进行动作选择和执行。每个阶段都依赖于前一阶段的输出，确保信息的有效传递。

关键创新：HiTac-WAM的主要创新在于其层次化的触觉状态预测机制，利用有向层次结构来组织接触状态、变形场和滑动风险。这与现有方法的单一预测方式有本质区别，显著提高了模型的预测能力和适应性。

关键设计：在模型设计中，使用了停止梯度信号来控制信息流动，确保每个阶段的输出能够有效影响后续阶段。此外，采用了有向注意力掩码，使得触觉查询能够关注视频-动作上下文，从而提高了模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HiTac-WAM在多个实验任务中表现出色，平均接触F1达到了0.921。在相同训练预算下，其有向层次结构相较于仅使用变形预测的模型，3D位移L2误差降低了17.6%，滑动AUPRC提高了60.4%。通过层次化预测引导选择，机器人成功率从31.1%提升至61.1%，整体系统成功率达72.2%。

🎯 应用场景

HiTac-WAM在机器人操控领域具有广泛的应用潜力，特别是在需要精确触觉反馈的任务中，如物体抓取、精细操作和人机交互等。其层次化的触觉预测能力可以显著提升机器人在复杂环境中的适应性和操作成功率，未来可能推动智能机器人在工业、医疗和服务等多个领域的应用。

📄 摘要（原文）

World action models jointly predict future visual observations and actions, whereas existing tactile-aware variants typically represent future touch as an image or latent stream without modeling the physical dependencies that organize tactile states hierarchically. We present HiTac-WAM, a hierarchical tactile world action model that forecasts a sequence of future tactile states for each candidate action chunk before execution. The forecast factorizes into contact state, a 3D deformation field, and slip risk, organized as a directed hierarchy in which each downstream stage is conditioned on stop-gradient signals from preceding stages. A directed attention mask allows tactile queries to attend to the video-action context of each candidate while preventing video and action queries from attending to tactile tokens. For planning, HiTac-WAM ranks candidate action chunks using tactile forecasts and task-progress estimates. For execution, the selected tactile forecast is retained as a reference; persistent discrepancies between predicted and observed tactile states trigger corrective replanning. HiTac-WAM achieves a mean contact F1 of 0.921; under matched training budgets, the directed hierarchy reduces 3D displacement L2 error by 17.6% relative to the deformation-only predictor and improves slip AUPRC by 60.4% relative to the slip-only predictor. Across chip grasping, blackboard erasing, and USB insertion, selection guided by the hierarchical forecasts increases the average real-robot success rate from 31.1% to 61.1%, while the full system attains 72.2%.