TactX: Learning Shared Tactile Representations Across Diverse Sensors
作者: Junsung Park, Sachin Bhadang, Carmelo Sferrazza, Sha Yi, Xiaolong Wang
分类: cs.RO
发布日期: 2026-06-30
备注: Submitted to CoRL 2026. 16 pages, 8 figures
💡 一句话要点
提出TactX以解决传感器间触觉表示转移问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 触觉传感器 跨传感器学习 共享潜在空间 机器人操作 多模态融合
📋 核心要点
- 现有的触觉表示方法通常与特定传感器耦合，导致在不同硬件平台间的转移能力不足。
- TactX框架通过训练模式特定的编码器，将不同传感器的触觉观察映射到共享的潜在空间，实现跨传感器的触觉表示学习。
- 在四个接触丰富的操作任务中，TactX使得使用一种传感器训练的策略能够零-shot转移到其他物理不同的传感器，成功率从27.5%提升至45.9%。
📝 摘要（中文）
触觉传感器为接触丰富的操作提供了重要信息，但现有的触觉表示和策略通常与特定传感器紧密耦合，限制了在不同机器人和硬件平台间的转移能力。为此，本文提出了TactX框架，旨在跨越三种不同的转导模式（电阻式、磁性和基于视觉的传感器）学习可转移的触觉表示。TactX通过对配对接触数据进行训练，利用特定模式的编码器将异构触觉观察映射到共享的潜在空间。实验结果表明，TactX能够在保持物体级接触信息的同时对传感器间的触觉表示进行对齐，并在四个接触丰富的操作任务中验证了其有效性。
🔬 方法详解
问题定义：本文旨在解决触觉表示在不同传感器间转移能力不足的问题。现有方法通常依赖于特定传感器，导致在多种硬件平台上应用受限。
核心思路：TactX通过训练模式特定的编码器，将异构触觉数据映射到一个共享的潜在空间，从而实现跨传感器的触觉表示学习。该设计利用配对接触数据提供的自然对齐信号，增强了不同传感器间的表示一致性。
技术框架：TactX的整体架构包括多个模块：首先，使用模式特定的编码器对不同传感器的触觉观察进行编码；其次，通过联合训练这些编码器，确保所有传感器类型在共享潜在空间中的一致性。
关键创新：TactX的主要创新在于其能够实现不同传感器间的触觉表示对齐，同时保持物体级的接触信息。这一方法与传统的传感器特定策略有本质区别，后者往往无法实现跨传感器的有效转移。
关键设计：在设计中，采用了配对接触数据作为训练基础，损失函数则通过对齐不同传感器的输出进行优化。此外，网络结构上，编码器的设计考虑了不同传感器的特性，以确保有效的信息提取和共享。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TactX在四个接触丰富的操作任务中表现出色，使用一种传感器训练的策略能够零-shot转移到其他传感器，成功率从27.5%提升至45.9%。这一显著提升展示了TactX在实现传感器无关触觉操作方面的潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、装配和其他需要精确触觉反馈的操作任务。通过实现传感器无关的触觉操作，TactX为多种机器人平台的灵活应用提供了可能，未来可在工业自动化、服务机器人等领域发挥重要作用。
📄 摘要（原文）
Tactile sensors provide critical information for contact-rich manipulation, yet tactile representations and policies remain tightly coupled to each specific sensor, limiting transferability across robots and hardware platforms. We propose TactX, a framework for learning a transferable tactile representation across sensors spanning three fundamentally different transduction modalities: resistive, magnetic, and vision-based. TactX maps heterogeneous tactile observations into a shared latent space through modality-specific encoders trained on paired contact data. Such paired interactions provide a natural alignment signal across modalities, and the encoders are jointly trained across all sensor pairs, inducing a consistent latent space for all sensor types. Our experiments show that TactX aligns tactile representations across sensors while preserving object-level contact information, as evidenced by sensor-identity prediction and object classification in the learned latent space. We evaluate TactX on four contact-rich manipulation tasks: pick-and-place, plug insertion, board wiping, and object reorientation, and show that policies trained with one sensor transfer zero-shot to physically distinct sensors through the shared latent. This improves the average success rate from 27.5% for vision-only policy to 45.9%, providing a step toward sensor-agnostic tactile manipulation.