Classification of Vision-Based Tactile Sensors: A Review

📄 arXiv: 2509.02478v2 📥 PDF

作者: Haoran Li, Yijiong Lin, Chenghua Lu, Max Yang, Efi Psomopoulou, Nathan F Lepora

分类: cs.RO

发布日期: 2025-09-02 (更新: 2025-09-04)

备注: 15 pages

期刊: IEEE Sensors Journal (2025)

DOI: 10.1109/JSEN.2025.3599236

💡 一句话要点

提出一种基于视觉的触觉传感器分类方法，旨在促进机器人触觉感知技术的发展。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉触觉传感器 机器人触觉 传感器分类 标记转换 强度转换

📋 核心要点

  1. 现有VBTS在传感原理、材料和数据解释上差异大，缺乏统一分类标准，限制了技术发展。
  2. 论文提出基于标记和强度的两大VBTS分类，细分为SMB、MMB、RLB和TLB四种机制，便于理解和比较。
  3. 通过对四种传感器硬件特性和数据解释方法进行比较，揭示了VBTS技术挑战和未来研究方向。

📝 摘要（中文）

本文提出了一种新颖的基于视觉的触觉传感器（VBTS）分类方法。由于VBTS具有高空间分辨率、低制造成本和易于定制等优点，已被广泛应用于机器人手、夹持器和假肢中。尽管VBTS具有共同的设计特征，例如相机模块，但它们在传感原理、材料组成、多模态方法和数据解释方法方面存在很大差异。本文将VBTS技术分为两大类：基于标记的转换原理和基于强度的转换原理。基于标记的转换通过检测标记位移和标记密度变化来解释触觉信息。相比之下，基于强度的转换通过像素值的变化来映射外部扰动。基于标记的转换可以进一步分为简单标记型（SMB）和形态标记型（MMB）机制。类似地，基于强度的转换原理包括基于反射层型（RLB）和基于透明层型（TLB）机制。本文对这四种类型的传感器的硬件特性进行了比较研究，包括各种组合类型，并讨论了解释触觉信息的常用方法。该比较揭示了VBTS技术目前面临的一些挑战以及未来的研究方向。

🔬 方法详解

问题定义：现有基于视觉的触觉传感器（VBTS）种类繁多，在传感原理、材料组成和数据解释方法上存在显著差异，缺乏一个统一且清晰的分类体系。这使得研究人员难以系统地理解和比较不同VBTS的优缺点，阻碍了该领域的技术进步。现有方法通常基于特定应用或硬件结构进行分类，缺乏对传感原理的深入分析。

核心思路：本文的核心思路是根据VBTS将接触力转换为视觉图像的底层转换原理进行分类。具体来说，将VBTS分为两大类：基于标记的转换原理和基于强度的转换原理。这种分类方式能够更清晰地揭示不同VBTS的工作机制，并为未来的传感器设计提供指导。

技术框架：本文提出的VBTS分类框架包含以下几个主要部分： 1. 基于标记的转换原理：通过检测标记的位移和密度变化来感知触觉信息，进一步细分为简单标记型（SMB）和形态标记型（MMB）。 2. 基于强度的转换原理：通过像素值的变化来映射外部扰动，细分为基于反射层型（RLB）和基于透明层型（TLB）。 3. 硬件特性比较：对上述四种类型的传感器的硬件特性进行详细比较，包括材料、结构和光学元件等。 4. 数据解释方法讨论：讨论了各种VBTS常用的数据解释方法，例如图像处理、机器学习等。

关键创新：本文最重要的技术创新点在于提出了基于底层转换原理的VBTS分类方法。与以往基于应用或硬件结构的分类方法不同，本文的分类方法能够更深入地揭示不同VBTS的工作机制，并为未来的传感器设计提供指导。这种分类方法有助于研究人员更好地理解不同VBTS的优缺点，并促进该领域的技术进步。

关键设计：论文的关键设计在于对两种主要转换原理及其子类型的详细定义和描述。例如，对于基于标记的转换原理，论文区分了SMB和MMB，前者依赖于简单的标记位移，而后者则利用标记的形态变化。对于基于强度的转换原理，论文区分了RLB和TLB，前者利用反射层来增强图像对比度，而后者则利用透明层来直接观察接触区域。此外，论文还对各种VBTS的硬件特性进行了详细比较，例如使用的材料、光学元件和结构设计。

📊 实验亮点

本文通过对四种类型的VBTS进行硬件特性和数据解释方法的比较研究，揭示了当前VBTS技术面临的一些挑战，例如图像处理的复杂性、环境光照的影响以及数据解释的准确性等。此外，本文还指出了未来VBTS的研究方向，例如多模态融合、深度学习的应用以及新型材料的开发等。

🎯 应用场景

该研究成果可广泛应用于机器人触觉感知领域，例如机器人手灵巧操作、物体识别、表面纹理感知等。在医疗领域，可用于开发高精度假肢和微创手术机器人。此外，该分类方法有助于研究人员更好地理解和比较不同VBTS的优缺点，从而促进新型触觉传感器的设计和开发，推动机器人技术的进步。

📄 摘要（原文）

Vision-based tactile sensors (VBTS) have gained widespread application in robotic hands, grippers and prosthetics due to their high spatial resolution, low manufacturing costs, and ease of customization. While VBTSs have common design features, such as a camera module, they can differ in a rich diversity of sensing principles, material compositions, multimodal approaches, and data interpretation methods. Here, we propose a novel classification of VBTS that categorizes the technology into two primary sensing principles based on the underlying transduction of contact into a tactile image: the Marker-Based Transduction Principle and the Intensity-Based Transduction Principle. Marker-Based Transduction interprets tactile information by detecting marker displacement and changes in marker density. In contrast, Intensity-Based Transduction maps external disturbances with variations in pixel values. Depending on the design of the contact module, Marker-Based Transduction can be further divided into two subtypes: Simple Marker-Based (SMB) and Morphological Marker-Based (MMB) mechanisms. Similarly, the Intensity-Based Transduction Principle encompasses the Reflective Layer-based (RLB) and Transparent Layer-Based (TLB) mechanisms. This paper provides a comparative study of the hardware characteristics of these four types of sensors including various combination types, and discusses the commonly used methods for interpreting tactile information. This~comparison reveals some current challenges faced by VBTS technology and directions for future research.