HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

📄 arXiv: 2606.19161v1 📥 PDF

作者: Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

分类: cs.RO

发布日期: 2026-06-17

备注: 9pages, 4figures

💡 一句话要点

提出HT-Bench以解决机器人触觉表示学习的基准问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 触觉表示学习 自我中心视觉 多任务基准 机器人操作 HandTouch编码器

📋 核心要点

  1. 现有的触觉表示学习方法缺乏统一的基准，难以应对传感器设计和数据格式的多样性。
  2. 本文提出HT-Bench基准，结合自我中心视觉与全手触觉数据，评估触觉表示的有效性。
  3. HandTouch编码器在多个任务上表现优异，提升了触觉相似性检索的召回率和其他任务的性能。

📝 摘要（中文）

建立一个通用的机器人操作触觉表示学习基准仍然面临挑战，主要由于触觉传感器设计、数据格式和机器人形态的多样性。为此，本文探索了一种可扩展的方向：结合自我中心视觉与全手触觉数据。我们引入了HT-Bench，这是一个大规模的多任务基准，包含226个任务收集的1000万RGB帧和780万触觉帧。HT-Bench从接触几何、视觉信息对齐和任务泛化三个关键角度评估触觉表示。我们还提出了HandTouch，一个通过渐进式空间、跨模态和时间训练学习触觉表示的向量量化视觉-触觉编码器。实验结果显示，HandTouch在多个任务上显著优于基线方法，证明了其有效性。

🔬 方法详解

问题定义：本文旨在解决机器人操作中触觉表示学习的基准缺失问题。现有方法在不同触觉传感器和数据格式下缺乏一致性，导致评估困难。

核心思路：论文提出HT-Bench基准，结合自我中心视觉与全手触觉数据，探索触觉表示的有效性和泛化能力。通过设计多任务评估，推动触觉表示学习的发展。

技术框架：HT-Bench包含226个任务，收集了1000万RGB帧和780万触觉帧。评估任务包括触觉相似性检索、遮挡触觉重建、视觉-触觉合成和多模态触觉帧预测。HandTouch编码器通过渐进式训练学习触觉表示。

关键创新：HandTouch编码器是一个向量量化的视觉-触觉编码器，通过空间、跨模态和时间的渐进式训练，显著提升了触觉表示的质量和泛化能力。

关键设计：在HandTouch中，采用了特定的损失函数和网络结构，优化了触觉表示的学习过程。实验中，触觉相似性检索的Recall@5从74.65%提升至85.23%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，HandTouch在触觉相似性检索中的Recall@5从74.65%提升至85.23%，在遮挡触觉重建中RMSE从0.022降至0.010，视觉-触觉合成中的OOD cIoU从0.628提升至0.705，证明了其优越性。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、物体识别和人机交互等。通过提升触觉表示学习的准确性和泛化能力，能够增强机器人在复杂环境中的操作能力，推动智能机器人技术的发展。

📄 摘要（原文）

Establishing a universal benchmark for tactile representation learning in robotic manipulation remains challenging due to the diversity of tactile sensor designs, data formats, and robot embodiments. Rather than seeking to establish such, we explore a scalable and promising direction for future development: egocentric vision paired with full-hand tactile data. To this end, we introduce \textbf{HT-Bench}, a large-scale multi-task benchmark for dexterous full-hand tactile sensing, comprising 10M RGB frames and 7.8M tactile frames collected across 226 tasks. HT-Bench evaluates tactile representations from three key perspectives: whether they encode meaningful contact geometry, whether they can align tactile observations with visual information, and whether they generalize to unseen tasks. To assess these capabilities, HT-Bench includes four tasks: fine-grained tactile similarity retrieval, masked tactile inpainting, vision-to-tactile synthesis, and multimodal tactile frame prediction. We further propose \textbf{HandTouch}, a vector-quantized vision--tactile encoder that learns tactile representations through progressive spatial, cross-modal, and temporal training. Across HT-Bench, HandTouch consistently outperforms representative tactile encoder baselines, improving Recall@5 on fine-grained tactile similarity retrieval from 74.65\% to 85.23\%, reducing RMSE on masked tactile inpainting from 0.022 to 0.010, and increasing OOD cIoU on vision-to-tactile synthesis from 0.628 to 0.705. These results demonstrate the effectiveness of HandTouch and suggest that large-scale egocentric full-hand tactile data provides a scalable basis for evaluating and advancing tactile representation learning in dexterous manipulation.