TacVerse: A Multi-Sensor Dataset and Benchmark for Cross-Sensor Vision-Based Tactile Perception

📄 arXiv: 2606.25877v1 📥 PDF

作者: Lan Wei, Gurmeher Khurana, Sirine Bhouri, Wenhao Hong, Zeyuan Xin, Qingzheng Cong, Wen Fan, Yanzheng Xiang, Dandan Zhang

分类: cs.RO

发布日期: 2026-06-24

💡 一句话要点

提出TacVerse以解决跨传感器视觉触觉感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉触觉传感器 跨传感器学习 数据集构建 自监督学习 少量样本适应 机器人感知 形状分类 力回归

📋 核心要点

  1. 现有的视觉触觉传感器在不同设计之间的泛化能力较差，导致跨传感器的性能显著下降。
  2. TacVerse数据集通过收集多种VBTS的触觉图像，提供了一个统一的基准以研究跨传感器的视觉触觉感知。
  3. 实验结果表明，形状分类任务相对稳健，而纹理分类和力回归对传感器变化更为敏感，少量样本适应能有效提升性能。

📝 摘要（中文）

视觉触觉传感器（VBTSs）通过内部相机成像变形来推断接触几何和力相关线索，但在不同传感器设计之间的泛化能力尚不清楚。本文提出TacVerse，一个多传感器数据集和基准，旨在研究跨传感器视觉触觉感知。数据集包含来自七种VBTS的106,800张触觉图像，并支持形状分类、纹理分类和力回归三项下游任务。实验在三种设置下进行，结果显示在同一传感器内的表现良好，但跨传感器转移性能显著下降，尤其是纹理分类和力回归任务。少量样本适应在未见目标传感器上持续提升性能，但未能完全缩小与同传感器上限的差距。研究表明，MAE（Masked Autoencoder）预训练在各任务和传感器间提供了最一致的性能提升。

🔬 方法详解

问题定义：本文旨在解决视觉触觉传感器在不同设计之间的泛化能力不足的问题。现有方法在跨传感器转移时表现不佳，尤其在纹理分类和力回归任务中。

核心思路：TacVerse通过构建一个包含多种VBTS的触觉图像数据集，提供了一个标准化的测试平台，以研究传感器变化对视觉触觉感知的影响，并探索数据高效适应和自监督学习的可能性。

技术框架：TacVerse数据集包含106,800张图像，支持形状分类、纹理分类和力回归三项任务。实验设置包括同传感器训练、零样本跨传感器转移和少量样本适应。

关键创新：最重要的创新在于构建了一个多传感器数据集，并通过实验验证了不同任务在传感器变化下的表现，尤其是少量样本适应的有效性。

关键设计：在实验中，MAE预训练被证明在各任务和传感器间提供了最一致的性能提升，此外，损失函数和网络结构的选择也对最终性能有显著影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在同传感器训练下，所有任务的表现均较为优异，但跨传感器转移时性能显著下降，尤其在纹理分类和力回归任务中。少量样本适应在未见目标传感器上持续提升性能，尽管未能完全达到同传感器的上限。MAE预训练在各任务中提供了最一致的性能提升，显示出其在跨传感器学习中的重要性。

🎯 应用场景

TacVerse的研究成果在机器人触觉感知、智能制造和人机交互等领域具有广泛的应用潜力。通过提高跨传感器的适应能力，机器人能够在多样化的环境中更好地执行任务，提升其智能化水平和灵活性。未来，该研究可能推动自监督学习和数据高效适应技术的发展，从而进一步提升机器人感知能力。

📄 摘要（原文）

Vision-based tactile sensors (VBTSs) enable robots to infer contact geometry and force-related cues by imaging deformation through an internal camera, yet generalisation across sensor designs remains poorly understood. We present TacVerse, a multi-sensor dataset and benchmark for cross-sensor vision-based tactile perception. The dataset contains 106,800 tactile images from seven VBTSs and supports three downstream tasks: shape classification, grating classification, and force regression. Experiments are conducted under three settings: within-sensor training, zero-shot cross-sensor transfer, and few-shot adaptation. Strong within-sensor performance across all tasks indicates that the collected tactile observations are informative for the target objectives. Direct cross-sensor transfer, however, leads to substantial degradation. Shape classification is comparatively robust, whereas grating classification and force regression are more sensitive to sensor shift. Few-shot adaptation for force regression consistently improves performance on unseen target sensors but does not fully close the gap to within-sensor upper bounds. A representation study further shows that MAE (Masked Autoencoder) pretraining provides the most consistent gains across tasks and sensors. TacVerse provides a controlled testbed for studying sensor shift, data-efficient adaptation, and self-supervised learning in tactile perception.