Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning
作者: Shengcheng Luo, Xiyan Huang, Zhe Xu, Wanlin Li, Ziyuan Jiao, Chenxi Xiao
分类: cs.RO, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出盲抓取框架以解决触觉信号稀疏问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 盲抓取 触觉信号 强化学习 机器人手 模拟与现实 策略学习 多指机器人 触觉编码
📋 核心要点
- 现有方法在学习仅基于触觉的抓取策略时面临触觉模拟与现实之间的差距和稀疏信号表达能力不足的挑战。
- 本文提出的框架结合了触觉校准、布局感知编码和扩散策略聚合，以提高盲抓取的成功率和泛化能力。
- 在物理LEAP手上进行的实验显示，该方法在20个物体上的真实抓取成功率达27%，显著提升了抓取性能。
📝 摘要（中文）
盲抓取是灵巧手的重要操作能力，但由于触觉模拟与现实之间的差距以及稀疏触觉信号的表达能力有限，学习仅基于触觉的策略仍然具有挑战性。为此，本文提出了一种可在物理多指机器人手上部署的触觉盲抓取框架。该方法结合了三个关键组件：首先，构建了一个能够重现真实触觉信号的接触校准数字双胞胎模拟器；其次，利用布局感知触觉编码器提升稀疏触觉观测的表达能力；最后，通过在校准模拟器中训练特定物体的强化学习专家，并将其成功抓取轨迹聚合为触觉条件扩散策略。实验结果表明，该策略在20个物体上的真实抓取成功率达27%。
🔬 方法详解
问题定义：本文旨在解决盲抓取中触觉信号稀疏和模拟与现实之间的差距问题。现有方法在这方面的表现不佳，导致抓取成功率低。
核心思路：提出的框架通过触觉校准、布局感知编码和扩散策略聚合来提升抓取策略的有效性，旨在实现高效的盲抓取。
技术框架：整体架构包括三个主要模块：1) Real2Sim触觉校准管道，构建数字双胞胎模拟器；2) 布局感知触觉编码器，增强稀疏触觉观测的表达；3) 触觉条件扩散策略，通过聚合成功抓取轨迹来提高泛化能力。
关键创新：最重要的创新在于引入了Real2Sim触觉校准和布局感知编码器，这些设计显著提高了抓取策略的成功率和泛化能力，与现有方法相比具有本质区别。
关键设计：关键设计包括自监督预训练的布局感知触觉编码器，以及在校准模拟器中训练的物体特定强化学习专家，确保了触觉信号的一致性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的触觉策略在20个物体上的真实抓取成功率达27%，而且没有依赖于真实抓取演示或视觉输入。模拟实验表明，布局感知触觉预训练显著提升了抓取性能，Real2Sim校准则提高了模拟与硬件之间触觉接触事件的一致性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机交互等场景，能够提升机器人在复杂环境中的操作能力。未来，随着技术的进步，该框架可能会在更多实际应用中发挥重要作用，推动智能机器人技术的发展。
📄 摘要（原文）
Blind grasping with a dexterous hand is a crucial manipulation capability. Nevertheless, learning such tactile-only policies for real robots remains challenging due to the tactile sim-to-real gap and the limited expressiveness of sparse tactile signals. To bridge this gap, we propose a framework for tactile-only blind grasping that is deployable on a physical multi-fingered robotic hand. Our approach combines three key components. First, we introduce a Real2Sim tactile calibration pipeline that constructs a contact-calibrated digital-twin simulator capable of reproducing real tactile signals. Second, we improve the expressiveness of sparse tactile observations using a layout-aware tactile encoder, which incorporates sensor-geometry priors through self-supervised pretraining. Third, to improve generalization to unseen objects, we train object-specific reinforcement-learning experts in the calibrated simulator and aggregate their successful grasp trajectories into a tactile-conditioned Diffusion Policy. We evaluate our method on a physical LEAP Hand equipped with distributed tactile sensing across 10 seen and 10 unseen objects. The deployed policy achieves a 27\% real-world grasp success rate across all 20 objects, without real-world grasping demonstrations or visual input. Simulation ablations show that layout-aware tactile pretraining improves grasping performance, while sensing-level evaluations confirm that Real2Sim calibration increases the consistency of tactile contact events between simulation and hardware. Together, these results suggest that contact-event calibration, geometry-aware tactile representation learning, and diffusion-based policy aggregation provide an effective path toward tactile-only blind grasping on real dexterous robotic hands. Project page:this http URL.