TactoHand: Learning Geometry-Based Dense Hand-Surface Interaction Fields from Video
作者: Ziheng Xi, Weibo Li, Jiayi Yu, Sipeng Zheng, Wanpeng Zhang, Haiweng Xu, Hao Luo, Chuan Mao, Zongqing Lu
分类: cs.CV
发布日期: 2026-10-29
备注: 23 pages, including references and appendices
🔗 代码/项目: GITHUB
💡 一句话要点
提出TactoHand以解决手部表面交互场景理解问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 手部交互 单目视频 物理约束 深度学习 机器人抓取 人机交互
📋 核心要点
- 现有方法在大规模收集触觉数据时面临硬件限制，难以有效捕捉手部与物体的交互。
- TactoHand模型通过单目视频预测手部表面的接触、接近和三维力场，利用时间变换器聚合视觉信息。
- 在多个基准测试中，TactoHand在接触和接近估计上显著优于之前的方法，并改善了手物体重建效果。
📝 摘要（中文）
理解人类如何与世界互动需要对手部表面的物理交互进行表征。虽然触觉传感能够捕捉这些交互，但大规模收集触觉数据需要专门的硬件。我们提出了TactoHand模型，该模型能够从单目视频中预测三种密集的手部表面交互场---接触、接近和三维力。我们从约5000万帧的精心策划数据集中提取几何基础的接触和接近标签，以及运动导出的力标签。TactoHand使用时间变换器在帧间聚合视觉证据，同时通过三个学习的查询解码相应的手部表面场。可微分物理层进一步约束力的预测。实验结果表明，TactoHand在接触和接近估计上优于现有方法，并且物理监督减少了运动展开中的位置和旋转误差，预测的接触和接近场改善了下游的手物体重建。这些结果展示了一条可扩展、低成本的路径，以学习手部表面交互场，而无需收集触觉测量数据。
🔬 方法详解
问题定义：本论文旨在解决如何有效地从视频中学习手部表面交互场的问题。现有方法在大规模触觉数据收集上存在硬件限制，无法充分捕捉手部与物体的交互信息。
核心思路：TactoHand模型通过分析单目视频，利用几何信息和运动数据来预测手部表面的接触、接近和三维力场。这种设计使得模型能够在无需专门触觉传感器的情况下，学习到丰富的交互信息。
技术框架：TactoHand的整体架构包括三个主要模块：首先是从视频中提取视觉特征，其次是使用时间变换器聚合这些特征，最后通过学习的查询解码出手部表面交互场。此外，模型还引入了可微分物理层，以约束力的预测。
关键创新：TactoHand的主要创新在于其能够从单目视频中有效预测手部表面的交互场，而不依赖于昂贵的触觉传感器。这一方法在接触和接近估计上显著提高了准确性。
关键设计：模型采用了时间变换器来处理视频帧间的时间信息，损失函数设计上结合了物理约束，以减少运动展开中的位置和旋转误差。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，TactoHand在接触和接近估计上相较于之前的方法提高了性能，具体表现为接触估计的准确性提升了XX%，接近估计的准确性提升了YY%。物理监督的引入有效减少了运动展开中的位置和旋转误差，进一步增强了模型的实用性。
🎯 应用场景
该研究的潜在应用领域包括人机交互、机器人抓取、虚拟现实等。通过准确预测手部与物体的交互，TactoHand能够提升机器人在复杂环境中的操作能力，促进智能设备的触觉反馈设计，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Understanding how humans interact with the world requires a representation of physical interactions at the hand surface. Tactile sensing captures these interactions, but collecting tactile data at scale requires specialized hardware. We introduce TactoHand, a model that predicts three dense hand-surface interaction fields---contact, proximity, and 3D force---from monocular video. We derive geometry-based contact and proximity labels and motion-derived force labels from eligible training data within a curated collection spanning approximately 50 million source frames. TactoHand uses a temporal transformer to aggregate visual evidence across frames, while three learned queries decode the corresponding hand-surface fields. A differentiable physics layer further constrains force predictions using observed object motion. Across in-domain and out-of-domain benchmarks, TactoHand improves contact and proximity estimation over prior methods. In addition, physics supervision reduces position and rotation errors in motion rollouts, and the predicted contact and proximity fields improve downstream hand-object reconstruction. Together, these results show a scalable, low-cost path to learning hand-surface interaction fields without collecting tactile measurements. Code will be released at https://github.com/zhenqis123/Tactohand.