MoiréTac: A Dual-Mode Visuotactile Sensor for Multidimensional Perception Using Moiré Pattern Amplification
作者: Kit-Wa Sou, Junhao Gong, Shoujie Li, Chuqiao Lyu, Ziwu Song, Shilong Mu, Wenbo Ding
分类: cs.RO, eess.SP
发布日期: 2025-09-16
💡 一句话要点
MoiréTac：利用莫尔条纹放大实现多维感知的双模态视觉触觉传感器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视觉触觉传感器 莫尔条纹 六轴力/扭矩测量 机器人灵巧操作 微光栅 深度学习 端到端学习
📋 核心要点
- 现有视觉触觉传感器依赖稀疏标记阵列，导致空间分辨率受限，且力与图像关系不明。
- MoiréTac通过重叠微光栅产生莫尔条纹，放大微小形变，实现高分辨率触觉感知和视觉功能。
- 实验表明，该传感器在六轴力/扭矩测量中R^2 > 0.98，并成功应用于机器人瓶盖移除任务。
📝 摘要（中文）
视觉触觉传感器通常采用稀疏的标记阵列，限制了空间分辨率，并且缺乏清晰的力-图像分析关系。为了解决这个问题，我们提出了 extbf{MoiréTac}，一种双模态传感器，它通过透明结构内重叠的微光栅生成密集干涉图案。当两个光栅未对准地重叠时，它们会产生莫尔条纹，从而放大微观变形。该设计保持了光学清晰度，用于视觉任务，同时产生连续的莫尔场用于触觉传感，从而能够同时进行六轴力/扭矩测量、接触定位和视觉感知。我们将来自莫尔条纹的基于物理的特征（亮度、相位梯度、方向和周期）与深度空间特征相结合。这些特征被映射到六轴力/扭矩测量，通过端到端学习实现可解释的回归。实验结果证明了三种能力：力/扭矩测量在测试轴上的R^2 > 0.98；通过几何参数进行灵敏度调整（三倍增益调整）；以及在莫尔条纹叠加下的物体分类视觉功能。最后，我们将传感器集成到机器人手臂中，用于协调力和扭矩控制的瓶盖移除，验证了其在灵巧操作中的潜力。
🔬 方法详解
问题定义：现有视觉触觉传感器依赖于在弹性体上布置稀疏的标记点，通过追踪这些标记点的位移来感知触觉信息。这种方法的主要痛点在于空间分辨率低，难以捕捉精细的触觉信息，并且力与图像之间的关系复杂，难以建立精确的数学模型。此外，传统方法通常难以同时兼顾触觉感知和视觉感知。
核心思路：MoiréTac的核心思路是利用莫尔条纹效应来放大微小的形变。通过在透明弹性体上制作两层微光栅，当受到外力作用时，光栅发生相对位移，产生莫尔条纹。莫尔条纹对形变具有放大作用，使得微小的形变也能被清晰地观察到。同时，透明的设计保证了视觉功能，实现了视觉和触觉信息的融合。
技术框架：MoiréTac传感器的整体架构包括：透明弹性体、上下两层微光栅、相机和图像处理模块。当传感器与物体接触时，弹性体发生形变，微光栅产生相对位移，形成莫尔条纹。相机捕捉莫尔条纹图像，图像处理模块提取莫尔条纹的特征（亮度、相位梯度、方向和周期），并结合深度学习模型，将这些特征映射到六轴力/扭矩。
关键创新：MoiréTac的关键创新在于利用莫尔条纹效应实现了高分辨率的触觉感知。与传统的基于标记点的传感器相比，MoiréTac能够捕捉更精细的形变信息，从而提高触觉感知的精度。此外，MoiréTac采用透明设计，实现了视觉和触觉信息的融合，为机器人操作提供了更全面的感知能力。
关键设计：在MoiréTac的设计中，微光栅的周期、光栅之间的夹角等几何参数对传感器的灵敏度有重要影响。论文通过调整这些参数，实现了灵敏度的调节。在图像处理方面，论文结合了基于物理的特征和深度学习方法，提高了力/扭矩预测的准确性。具体而言，使用了包含卷积层和全连接层的神经网络，损失函数为均方误差损失函数，用于回归预测六轴力/扭矩。
📊 实验亮点
实验结果表明，MoiréTac传感器在六轴力/扭矩测量中表现出色，R^2值在所有测试轴上均大于0.98。通过调整几何参数，可以实现三倍的灵敏度增益调整。此外，该传感器还成功应用于机器人瓶盖移除任务，验证了其在实际操作中的有效性。与传统传感器相比，MoiréTac在空间分辨率和感知精度方面均有显著提升。
🎯 应用场景
MoiréTac传感器在机器人灵巧操作、医疗触觉感知、虚拟现实交互等领域具有广泛的应用前景。它可以应用于机器人抓取、装配等任务，提高机器人的操作精度和稳定性。在医疗领域，可以用于微创手术、触诊等操作，提高医生的诊断和治疗水平。在虚拟现实领域，可以提供更真实的触觉反馈，增强用户的沉浸感。
📄 摘要（原文）
Visuotactile sensors typically employ sparse marker arrays that limit spatial resolution and lack clear analytical force-to-image relationships. To solve this problem, we present \textbf{MoiréTac}, a dual-mode sensor that generates dense interference patterns via overlapping micro-gratings within a transparent architecture. When two gratings overlap with misalignment, they create moiré patterns that amplify microscopic deformations. The design preserves optical clarity for vision tasks while producing continuous moiré fields for tactile sensing, enabling simultaneous 6-axis force/torque measurement, contact localization, and visual perception. We combine physics-based features (brightness, phase gradient, orientation, and period) from moiré patterns with deep spatial features. These are mapped to 6-axis force/torque measurements, enabling interpretable regression through end-to-end learning. Experimental results demonstrate three capabilities: force/torque measurement with R^2 > 0.98 across tested axes; sensitivity tuning through geometric parameters (threefold gain adjustment); and vision functionality for object classification despite moiré overlay. Finally, we integrate the sensor into a robotic arm for cap removal with coordinated force and torque control, validating its potential for dexterous manipulation.