ViTacPhys: Physical Property-Aware Grasping from Human Visual-Tactile Demonstrations
作者: Yiwen Liu, Yujun Zhu, Kui Jia, Zhao Liao, Yangwei You, Shuaijun Wang
分类: cs.RO
发布日期: 2026-08-21
备注: 11 pages, 7 figures. Project page: https://vitacphys.github.io/ViTacPhys/
💡 一句话要点
提出ViTacPhys以解决物体物理属性对抓取策略适应性不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 物理属性估计 视觉-触觉融合 自适应抓取 机器人技术 多模态学习
📋 核心要点
- 现有的视觉基础动作模型在复杂操作中表现优异，但缺乏对物体物理属性的明确利用，导致抓取策略的适应性不足。
- ViTacPhys通过结合视觉和触觉信息，估计物体的质量、摩擦系数和刚度，从而实现对物理属性的显式建模和条件化。
- 在实验中，ViTacPhys在已见物体上实现了97.2%的质量分类准确率和95.0%的抓取成功率，展示了其在自适应抓取中的有效性。
📝 摘要（中文）
近年来，基于视觉的动作模型在复杂操作中表现出强大的能力，但很少利用明确的物体物理属性来调整其策略。本文提出了ViTacPhys，一个视觉-触觉框架及数据采集系统，能够从人类操作演示中估计物体的质量和摩擦系数类别，以及连续的刚度。ViTacPhys在60个刚性和可变形物体的数据上进行训练，结合了时间视觉-触觉建模、跨注意力多模态融合和来自视觉-语言模型的语义先验。在已见物体上，其质量分类准确率达到97.2%，摩擦系数分类准确率为98.8%，刚度的平均绝对百分比误差为5.51%。在已知类别的未见物体上，质量准确率为87.5%，摩擦系数准确率为97.5%，刚度的平均绝对百分比误差为9.08%。通过有限的机器人遥操作数据和人类演示，ViTacPhys成功转移到机器人领域，并作为在线模块用于自适应抓取。
🔬 方法详解
问题定义：本文旨在解决现有视觉基础抓取模型未能充分利用物体物理属性的问题，导致抓取策略在不同物体上的适应性不足。
核心思路：ViTacPhys通过从人类操作演示中提取视觉和触觉信息，估计物体的物理属性（如质量、摩擦系数和刚度），以此来优化抓取策略。
技术框架：ViTacPhys的整体架构包括数据采集、视觉-触觉建模、跨注意力多模态融合和基于视觉-语言模型的语义先验。数据采集阶段通过人类演示获取多模态数据，随后进行属性估计和策略优化。
关键创新：ViTacPhys的主要创新在于其显式估计物体物理属性并将其用于抓取策略的条件化，这与传统方法的隐式处理方式形成了鲜明对比。
关键设计：在模型设计中，采用了跨注意力机制来融合视觉和触觉信息，损失函数则针对物理属性的准确性进行了优化，确保了模型在不同物体上的泛化能力。实验中使用了60个物体的数据集进行训练，确保了模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ViTacPhys在已见物体上的质量分类准确率达到97.2%，摩擦系数准确率为98.8%，抓取成功率为95.0%。在未见物体上，质量准确率为87.5%，摩擦系数准确率为97.5%，展示了其在自适应抓取中的显著优势。
🎯 应用场景
ViTacPhys的研究成果在机器人抓取、自动化制造和人机协作等领域具有广泛的应用潜力。通过准确估计物体的物理属性，机器人能够更好地适应不同的操作环境，提高抓取的成功率和效率，推动智能机器人在实际应用中的落地。
📄 摘要（原文）
Recent vision-based action models have demonstrated strong capabilities in complex manipulation, but they rarely leverage explicit object physical properties to adapt their policies. We introduce ViTacPhys, a visual-tactile framework and data acquisition system that estimates object mass and friction-coefficient classes, together with continuous stiffness, from human manipulation demonstrations. Trained on data from 60 rigid and deformable objects, ViTacPhys combines temporal visual-tactile modeling, cross-attention multimodal fusion, and a semantic prior derived from a vision-language model. On seen objects, it achieves 97.2% mass classification accuracy, 98.8% friction-coefficient classification accuracy, and a stiffness mean absolute percentage error (MAPE) of 5.51%. On held-out objects from known categories, it achieves 87.5% mass accuracy, 97.5% friction-coefficient accuracy, and a stiffness MAPE of 9.08%. We transfer ViTacPhys from the human domain to the robot domain using limited robot teleoperation data, robot-style video augmentation, and human demonstrations with matched actions, and deploy it as an online module for adaptive grasping. The resulting physical-property-conditioned policy achieves total grasping success rates of 95.0% on in-distribution objects and 83.4% on out-of-distribution objects. For out-of-distribution objects successfully grasped by both methods, its force profiles are more consistent with human teleoperation than those produced by ACT. These results demonstrate the feasibility of explicitly estimating and conditioning on object physical properties for real-world adaptive grasping.