T-Rex: Tactile-Reactive Dexterous Manipulation
作者: Dantong Niu, Zhuoyang Liu, Zekai Wang, Boning Shao, Zhao-Heng Yin, Anirudh Pai, Yuvan Sharma, Stefano Saravalle, Ruijie Zheng, Jing Wang, Ryan Punamiya, Mengda Xu, Yuqi Xie, Yunfan Jiang, Letian Fu, Konstantinos Kallidromitis, Matteo Gioia, Junyi Zhang, Jiaxin Ge, Haiwen Feng, Fabio Galasso, Wei Zhan, David M. Chan, Yutong Bai, Roei Herzig, Jiahui Lei, Fei-Fei Li, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Danfei Xu, Jim, Fan, Trevor Darrell
分类: cs.RO
发布日期: 2026-06-15
备注: Project page: https://tactile-rex.github.io/
💡 一句话要点
提出T-Rex以解决机器人触觉反应不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 触觉反应 机器人操作 视觉-语言-动作 混合变换器 数据集构建 精细力控制 可变形物体
📋 核心要点
- 现有的视觉-语言-动作模型在机器人操作中往往忽视触觉信号，导致灵活性不足。
- 本文提出了一个大规模的触觉数据集和可变速混合变换器架构，以有效利用高频触觉信号。
- 在12个操作任务中，所提出的方法成功率比最强基线提高了30%以上，显示出显著的效果提升。
📝 摘要（中文）
动态响应触觉信号的能力被认为是实现人类级灵巧操作的关键。然而，现有的基于学习的视觉-语言-动作（VLA）模型通常忽视触觉模态或仅限于静态线索的编码器。本文通过提出一个大规模的触觉丰富数据集和一种新的混合变换器架构，解决了这些限制。实验表明，所提出的触觉反应策略在12个需要精细力控制和可变形物体操作的任务中，成功率比最强基线高出30%以上。
🔬 方法详解
问题定义：本文旨在解决现有机器人操作模型对触觉信号反应不足的问题。现有方法由于缺乏多样化的训练数据和静态编码器的限制，无法有效利用触觉信息。
核心思路：论文提出了一种新的数据收集方法，构建了一个大规模的触觉数据集，并引入了可变速混合变换器架构，以动态处理触觉信号。这样设计的目的是为了充分利用高频触觉信号，同时保持现有视觉-语言-动作模型的能力。
技术框架：整体架构包括数据收集、触觉信号编码和策略学习三个主要模块。数据收集模块通过优先考虑基本运动原语来构建触觉丰富的数据集；触觉信号通过新颖的时间触觉VQ-VAE编码器进行处理；策略学习模块则基于处理后的信号进行操作策略的训练。
关键创新：最重要的创新在于提出了可变速混合变换器架构和时间触觉VQ-VAE编码器，这使得模型能够动态响应触觉信号，与传统静态编码器相比，显著提升了灵活性和反应能力。
关键设计：在模型设计中，采用了多层次的变换器结构，结合了触觉信号的高频特性，并通过特定的损失函数优化触觉反应策略，确保了模型在复杂操作中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的触觉反应策略在12个操作任务中，平均成功率比最强基线高出30%以上，验证了新方法在精细力控制和可变形物体操作中的有效性。这一显著提升表明了触觉信号在机器人操作中的重要性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和医疗机器人等。通过提升机器人对触觉信号的响应能力，可以实现更为精细和灵活的操作，进而推动智能机器人在复杂环境中的应用。未来，该技术有望在人机协作和自主操作中发挥重要作用。
📄 摘要（原文）
The ability to react dynamically to tactile signals has long been considered crucial to agile human-level dexterity. Yet contemporary learning-based Vision-Language-Action (VLA) models for robotic manipulation generally either overlook the tactile modality or are limited to encoders with static cues, due in part to the scarcity of diverse training data and standardized evaluation, architectural constraints in current VLA models, and limitations of static tactile encoders. In this paper, we push the frontier of tactile-reactive manipulation by addressing all of these limitations. We propose a large-scale, 100-hour tactile-rich dataset collected via a novel, data-efficient recipe that prioritizes elementary motor primitives. To effectively exploit naturally high-frequency touch signals without sacrificing the existing capabilities of existing VLAs, we introduce a variable-rate Mixture-of-Transformers (MoT) architecture equipped with a novel temporal tactile VQ-VAE encoder. We demonstrate the effectiveness of tactile-reactive policies on 12 manipulation tasks requiring delicate force control and deformable object manipulation, achieving over 30% higher average success rate than the strongest baseline.