FasTac: A Curved Multispectral Vision-Based Tactile Sensor for High-Speed High-Precision 3D Shape and Force Perception

📄 arXiv: 2607.28416v1 📥 PDF

作者: Xiaofan Lu, Kaiji Huang, Jiahui Chen, Yuankai Lin, Hua Yang, Zhouping Yin

分类: cs.RO

发布日期: 2026-07-30

备注: 13 pages, 11 figures, including 2 pages of supplementary material. Submitted to IEEE/ASME Transactions on Mechatronics

💡 一句话要点

提出FasTac以解决高速度高精度3D形状与力感知问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 曲面触觉传感器 多光谱成像 动态卷积 FPGA加速 3D重建 力感知 机器人技术 智能制造

📋 核心要点

  1. 现有曲面视觉触觉传感器在高速度和高精度的3D形状与力感知方面存在性能不足，难以同时满足多项要求。
  2. FasTac通过集成多光谱光度立体、动态卷积力估计和FPGA加速，提出了一种新型的曲面视觉触觉传感器，解决了现有方法的局限性。
  3. 实验结果显示，FasTac在深度估计和力感知方面显著提升，处理延迟大幅降低，验证了其在复杂操作中的有效性。

📝 摘要（中文）

曲面触觉指尖在灵巧操作中必须解决细微接触几何、区分法向和切向载荷以及捕捉瞬态信号。现有的曲面视觉触觉传感器在紧凑形式中难以结合准确的3D重建、三轴力估计和高速处理。本文提出FasTac，一种集成多光谱光度立体、动态卷积力估计和FPGA硬件加速的曲面视觉触觉传感器。单图像传感器的多光谱成像提供了空间对齐的观测，以实现稳健的表面法线估计，随后进行边界先验快速泊松深度重建。HyperForce使用位置感知动态卷积来建模曲面弹性体的空间非均匀机械响应并估计三轴力。完整的图像到法向力管道部署在FPGA上。实验表明，近红外照明和边界先验将深度平均绝对误差从0.2730 mm降低到0.0415 mm；HyperForce的法向力和剪切力的归一化平均绝对误差分别为2.74%和2.39%；FPGA部署将处理延迟从GPU的3.26 ms缩短至1.09 ms。多物体重建、反馈抓取和振动测量验证了精细几何感知、稳定力反馈和动态接触感知。

🔬 方法详解

问题定义：本文旨在解决现有曲面视觉触觉传感器在高速度和高精度3D形状与力感知方面的不足，特别是在细微接触几何、法向与切向载荷区分及瞬态信号捕捉等方面的挑战。

核心思路：FasTac的核心思路是通过多光谱成像和动态卷积技术，结合FPGA硬件加速，实现高效的3D重建和力估计，从而提高传感器的响应速度和精度。

技术框架：FasTac的整体架构包括三个主要模块：多光谱成像模块用于获取空间对齐的图像，边界先验泊松重建模块用于深度重建，以及HyperForce模块用于三轴力的动态估计，所有模块均在FPGA上实现。

关键创新：FasTac的关键创新在于采用单图像传感器的多光谱成像技术和位置感知动态卷积方法，这使得其在处理非均匀机械响应时表现出色，显著提升了法向力和剪切力的估计精度。

关键设计：在设计中，使用了边界先验来优化深度重建过程，并通过动态卷积网络来适应曲面弹性体的空间响应特性，确保了系统的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FasTac在深度估计中，平均绝对误差从0.2730 mm降低至0.0415 mm，显示出显著的精度提升；HyperForce在法向力和剪切力的归一化平均绝对误差分别为2.74%和2.39%；FPGA的部署使处理延迟从3.26 ms减少至1.09 ms，极大提高了实时性。

🎯 应用场景

FasTac的研究成果在机器人抓取、精密制造和人机交互等领域具有广泛的应用潜力。其高精度的3D形状与力感知能力能够提升机器人在复杂环境中的操作灵活性和安全性，推动智能制造和自动化技术的发展。

📄 摘要（原文）

Curved tactile fingertips for dexterous manipulation must resolve fine contact geometry, distinguish normal and tangential loads, and capture transient signals. Existing curved vision-based tactile sensors struggle to combine accurate 3D reconstruction, three-axis force estimation, and high-speed processing in a compact form. This article presents FasTac, a curved vision-based tactile sensor integrating multispectral photometric stereo, dynamic-convolution force estimation, and hardware acceleration on a field-programmable gate array (FPGA). Single-image-sensor simultaneous multispectral imaging provides spatially aligned observations for robust surface normal estimation, followed by boundary-prior fast Poisson depth reconstruction. HyperForce uses position-aware dynamic convolution to model the spatially nonuniform mechanical response of curved elastomers and estimate three-axis forces. The complete image-to-normal-force pipeline is deployed on an FPGA. Experiments show that near-infrared (NIR) illumination and the boundary prior decrease depth mean absolute error (MAE) from 0.2730 mm to 0.0415 mm; HyperForce achieves normalized mean absolute error (NMAE) values of 2.74% and 2.39% for normal and shear forces, respectively; and FPGA deployment shortens processing latency from 3.26 ms on the GPU to 1.09 ms. Multi-object reconstruction, feedback grasping, and vibration measurement validate fine geometric perception, stable force feedback, and dynamic contact sensing.