FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation

📄 arXiv: 2606.13102 📥 PDF

作者: Chengbo Yuan, Zicheng Zhang, Mingjie Zhou, Wendi Chen, Yi Wang, Zhuoyang Liu, Dantong Niu, Shuo Wang, Hui Zhang, Wenkang Zhang, Yingdong Hu, Yuanqing Gong, Wanli Xing, Chuan Wen, Cewu Lu, Kaifeng Zhang, Yang Gao

分类: cs.RO

发布日期: 2026-06-12

💡 一句话要点

提出FTP-1以解决触觉传感器间通用性不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 触觉策略 跨传感器学习 机器人操作 Transformer模型 技能转移 自动化系统 智能制造

📋 核心要点

  1. 现有的触觉策略受限于特定的硬件和传感器，缺乏跨传感器的通用性，限制了其应用。
  2. FTP-1通过使用异构编码器将多种触觉输入投影到统一的形态感知潜在标记，利用共享的触觉Transformer模型进行联合建模。
  3. 在五种硬件配置的下游微调实验中，FTP-1在已知传感器设置下的操作成功率提高了17.2%，并在未见传感器设置下提升了31%。

📝 摘要（中文）

尽管基于视觉的通用机器人策略取得了成功，但现有的基于触觉的策略仍然受限于固定的硬件和传感器设置。这是因为触觉信号在不同硬件间高度异质，导致跨传感器的泛化困难。本文提出了FTP-1，这是第一个通用基础触觉策略，经过预训练以获取可转移的触觉操作能力，支持多种触觉输入，包括图像、阵列和状态信号。FTP-1在约3000小时的触觉操作数据上进行预训练，涵盖21种传感器的26个数据源，学习到的触觉技能能够超越预训练期间见过的传感器。实验结果表明，FTP-1在已知传感器设置下的接触丰富操作成功率提高了17.2%，并且在两个未见过的触觉传感器设置下成功率提升了31%。

🔬 方法详解

问题定义：本文旨在解决现有触觉策略在不同硬件和传感器间缺乏通用性的问题。现有方法往往只能在特定的传感器设置下有效，限制了其广泛应用。

核心思路：FTP-1的核心思路是通过预训练一个通用的触觉策略，使其能够处理多种类型的触觉输入，并在不同传感器间实现技能转移。通过使用异构编码器，FTP-1能够将不同的触觉信号映射到统一的潜在空间。

技术框架：FTP-1的整体架构包括多个模块：首先是异构编码器用于处理不同类型的触觉输入；其次是一个共享的触觉Transformer模型用于联合建模；最后，通过微调阶段在特定硬件配置上优化策略。

关键创新：FTP-1的主要创新在于其能够实现跨传感器的技能转移，首次建立了一个统一的基础触觉策略基线，与现有方法相比，具有更强的通用性和适应性。

关键设计：在设计中，FTP-1使用了多种损失函数以优化不同类型输入的学习效果，并采用了形态感知的潜在标记结构，以增强模型对触觉信号的理解和处理能力。具体的网络结构和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FTP-1在五种硬件配置的微调实验中，成功率在已知传感器设置下提高了17.2%，并在两个未见过的触觉传感器设置下实现了31%的成功率提升，显示出其强大的通用性和适应能力。

🎯 应用场景

FTP-1的研究成果在机器人操作、智能制造和人机交互等领域具有广泛的应用潜力。通过实现跨传感器的触觉技能转移，FTP-1能够提升机器人在复杂环境中的操作能力，促进更智能的自动化系统的发展。

📄 摘要（原文）

Despite the success of vision-based generalist robotic policies, existing tactile-based policies remain tied to fixed embodiments and sensor setups. This is because tactile signals are highly heterogeneous across hardware, making cross-sensor generalization difficult. We present FTP-1,the first generalist foundation tactile policy pretrained to acquire transferable tactile manipulation abilities across diverse sensors and embodiments. FTP-1 supports varied tactile inputs, including image-, array-, and state-based signals, by using heterogeneous encoders to project them into unified morphology-aware latent tokens that are jointly modeled by a shared tactile Transformer expert. Pretrained on around 3,000 hours of tactile manipulation data aggregated from 26 data sources, spanning human and robot demonstrations across 21 sensors, FTP-1 learns tactile skills that transfer beyond the sensors seen during pretraining. Across downstream finetuning experiments spanning 5 hardware configurations, FTP-1 improves contact-rich manipulation on seen sensor setups by +17.2% and, surprisingly, transfers to two previously unseen tactile-sensor setups, achieving a +31% gain in success rate. FTP-1 establishes the first unified foundation baseline for tactile manipulation, providing future tactile policies with a shared model-level starting point. Pretrained models, datasets, training code and more visualization atthis https URL.