FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation

📄 arXiv: 2606.13102v1 📥 PDF

作者: Chengbo Yuan, Zicheng Zhang, Mingjie Zhou, Wendi Chen, Yi Wang, Zhuoyang Liu, Dantong Niu, Shuo Wang, Hui Zhang, Wenkang Zhang, Yingdong Hu, Yuanqing Gong, Wanli Xing, Chuan Wen, Cewu Lu, Kaifeng Zhang, Yang Gao

分类: cs.RO

发布日期: 2026-06-11

💡 一句话要点

提出FTP-1以解决触觉传感器通用性不足的问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 触觉策略 跨传感器泛化 机器人操作 Transformer模型 预训练

📋 核心要点

  1. 现有的触觉策略通常受限于特定的硬件和传感器，导致跨传感器的泛化能力不足。
  2. FTP-1通过预训练和异构编码器设计，能够处理多种触觉输入，提升了触觉操作的通用性。
  3. 在实验中，FTP-1在已见传感器设置上提升了17.2%的成功率，并在未见传感器上实现了31%的成功率提升。

📝 摘要（中文）

尽管基于视觉的通用机器人策略取得了成功，现有的基于触觉的策略仍然受限于固定的硬件和传感器设置。这是因为触觉信号在不同硬件之间高度异质，使得跨传感器的泛化变得困难。我们提出了FTP-1，这是第一个通用的基础触觉策略，经过预训练以获取可转移的触觉操作能力，适用于多种传感器和设备。FTP-1支持多种触觉输入，通过使用异构编码器将其投影到统一的形态感知潜在标记中，并由共享的触觉Transformer专家共同建模。经过约3000小时的触觉操作数据预训练，FTP-1在5种硬件配置的下游微调实验中，提升了接触丰富操作的成功率，并在两个未见过的触觉传感器设置中实现了显著的成功率提升。

🔬 方法详解

问题定义：本论文旨在解决现有触觉策略在不同硬件和传感器之间缺乏通用性的问题。现有方法通常依赖于特定的硬件配置，导致触觉信号的异质性使得跨传感器的泛化变得困难。

核心思路：FTP-1的核心思路是通过预训练和异构编码器，将多种触觉输入转化为统一的形态感知潜在标记，从而实现跨传感器的操作能力转移。这样的设计使得模型能够在不同的传感器配置下保持良好的性能。

技术框架：FTP-1的整体架构包括多个主要模块：首先是异构编码器，用于处理不同类型的触觉输入；其次是共享的触觉Transformer专家，负责对潜在标记进行建模；最后是预训练阶段，使用来自多种来源的触觉操作数据进行训练。

关键创新：FTP-1的最大创新在于其能够处理多种触觉输入并实现跨传感器的泛化能力，这是现有方法所不具备的。通过使用统一的潜在标记，FTP-1在不同传感器之间实现了知识的迁移。

关键设计：在设计上，FTP-1采用了异构编码器以适应不同的触觉信号，并使用了共享的Transformer结构来增强模型的表达能力。损失函数的设计也考虑了多任务学习，以确保模型在多种任务上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，FTP-1在已见传感器配置上成功提升了17.2%的操作成功率，并在两个未见的触觉传感器配置上实现了31%的成功率提升。这些结果表明FTP-1在触觉操作的泛化能力上具有显著优势，为未来的研究提供了新的基准。

🎯 应用场景

FTP-1的研究成果在多个领域具有潜在应用价值，尤其是在机器人抓取、物体操作和人机交互等场景中。通过提升触觉操作的通用性，FTP-1能够为未来的触觉策略提供一个统一的基础模型，推动智能机器人在复杂环境中的应用。其影响可能扩展到医疗、服务机器人等多个行业，提升机器人的操作能力和适应性。

📄 摘要（原文）

Despite the success of vision-based generalist robotic policies, existing tactile-based policies remain tied to fixed embodiments and sensor setups. This is because tactile signals are highly heterogeneous across hardware, making cross-sensor generalization difficult. We present FTP-1,the first generalist foundation tactile policy pretrained to acquire transferable tactile manipulation abilities across diverse sensors and embodiments. FTP-1 supports varied tactile inputs, including image-, array-, and state-based signals, by using heterogeneous encoders to project them into unified morphology-aware latent tokens that are jointly modeled by a shared tactile Transformer expert. Pretrained on around 3,000 hours of tactile manipulation data aggregated from 26 data sources, spanning human and robot demonstrations across 21 sensors, FTP-1 learns tactile skills that transfer beyond the sensors seen during pretraining. Across downstream finetuning experiments spanning 5 hardware configurations, FTP-1 improves contact-rich manipulation on seen sensor setups by +17.2% and, surprisingly, transfers to two previously unseen tactile-sensor setups, achieving a +31% gain in success rate. FTP-1 establishes the first unified foundation baseline for tactile manipulation, providing future tactile policies with a shared model-level starting point. Pretrained models, datasets, training code and more visualization at https://ftp1-policy.github.io.