ReTouch: Empowering Contact-Rich Dexterous Manipulation with Online-Refined Tactile Prediction
作者: Shiqi Zhang, Xin Zhang, Yedong Shen, Jiajun Deng, Yuxuan Gao, Sha Zhang, Yuan Zhang, Kaixue Long, Jiajia Wu, Jia Pan, Yao Li, Yanyong Zhang
分类: cs.RO
发布日期: 2026-08-03
💡 一句话要点
提出ReTouch以解决触觉反馈在灵巧操作中的整合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 触觉反馈 灵巧操作 机器人技术 在线优化 视觉-语言-动作模型 闭环控制 高频动作预测
📋 核心要点
- 现有方法在将触觉反馈有效整合到灵巧操作中存在不足，导致机器人在复杂交互中表现不佳。
- 论文提出ReTouch，通过在线优化触觉预测，结合视觉、语言和动作模型，提升灵巧操作的响应能力。
- 实验结果表明，ReTouch在标准和挑战条件下的平均成功率分别比最强基线提高了18.4和23.8个百分点，显示出其有效性和鲁棒性。
📝 摘要（中文）
融合触觉信号已被证明对接触丰富的操作有效，使机器人能够感知接触状态并适应快速变化的物理交互。然而，如何有效地将触觉反馈整合到灵巧操作中仍然是一个未被充分探索的问题。本研究提出了ReTouch，一个支持通过在线执行反馈不断优化触觉预测的视觉-语言-动作模型（VLA）。ReTouch的两个主要创新点在于触觉表示和闭环动作生成。首先，其触觉补丁编码器将触觉观察表示为结构化的触觉补丁特征，保留手指身份和局部接触结构，为精细的灵巧控制提供接触线索。其次，其高频动作模块联合预测未来的触觉状态和动作片段，并在执行过程中使用传入的触觉反馈进行优化。通过闭环优化，ReTouch能够保持触觉预测与不断变化的物理交互一致，从而实现响应式动作修正，提高对接触变化和执行错误的鲁棒性。
🔬 方法详解
问题定义：本论文旨在解决触觉反馈在灵巧操作中的整合问题，现有方法未能有效利用触觉信息，导致机器人在复杂接触场景中的操作能力受限。
核心思路：ReTouch通过在线优化触觉预测，结合视觉、语言和动作信息，提升机器人对动态物理交互的适应能力，从而实现更精细的灵巧控制。
技术框架：ReTouch的整体架构包括触觉补丁编码器和高频动作模块。触觉补丁编码器负责将触觉信号转化为结构化特征，而高频动作模块则负责预测未来的触觉状态和动作，并进行闭环优化。
关键创新：ReTouch的主要创新在于其触觉补丁编码器和高频动作模块的设计，前者保留了手指身份和局部接触结构，后者通过实时反馈优化动作预测，与现有方法相比，显著提升了灵巧操作的精度和鲁棒性。
关键设计：在设计中，触觉补丁编码器采用了特定的网络结构以提取触觉特征，而高频动作模块则使用了联合预测机制，结合触觉反馈进行实时优化，确保动作与环境变化保持一致。
🖼️ 关键图片
📊 实验亮点
实验结果显示，ReTouch在标准和挑战条件下的平均成功率分别比最强基线提高了18.4和23.8个百分点，证明了其在接触丰富任务中的有效性和鲁棒性，展示了其在实际应用中的巨大潜力。
🎯 应用场景
ReTouch的研究成果在机器人抓取、装配和其他需要精细操作的领域具有广泛的应用潜力。通过提升机器人对触觉反馈的响应能力，ReTouch能够在复杂的物理环境中实现更高效的操作，推动智能制造和服务机器人等领域的发展。
📄 摘要（原文）
Fusing tactile signals has proven effective for contact-rich manipulation, enabling robots to perceive contact states and adapt to rapidly changing physical interactions. Yet effectively integrating tactile feedback into dexterous manipulation remains underexplored. In this work, we introduce ReTouch, a vision-language-action model (VLA) that supports contact-rich dexterous manipulation through tactile predictions continually refined online using execution-time feedback. ReTouch builds on two main innovations for tactile representation and closed-loop action generation. First, its Tactile-Patch Encoder represents tactile observations as structured tactile patch features that preserve finger identity and local contact structure, providing contact cues for fine-grained dexterous control. Second, its high-frequency action module jointly predicts future tactile states and action chunks and refines both using incoming tactile feedback during execution. This closed-loop refinement keeps tactile predictions aligned with evolving physical interactions, enabling responsive action correction and improving robustness to contact changes and execution errors. We further introduce XHT-Dataset, comprising 900 real-world demonstrations across seven contact-rich tasks collected on an XHand--UR7e platform, and evaluate ReTouch through closed-loop real-robot experiments. ReTouch surpasses the strongest baseline by 18.4 and 23.8 percentage points in average success rate under standard and challenging conditions, respectively, demonstrating its effectiveness and robustness.