Toward Spatial Temporal Consistency of Joint Visual Tactile Perception in VR Applications

📄 arXiv: 2312.16391v2 📥 PDF

作者: Fuqiang Zhao, Kehan Zhang, Qian Liu, Zhuoyi Lyu

分类: cs.RO

发布日期: 2023-12-27 (更新: 2023-12-29)

备注: This paper is accepted by the IEEE Haptic Symposium 2024

💡 一句话要点

针对VR应用，提出时空一致的视觉触觉联合感知数据采集与应用方案

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉触觉融合 VR应用 时空一致性 数据采集系统 触觉反馈

📋 核心要点

  1. 现有触觉数据集缺乏与触觉信号对应的空间位置信息，难以实现视觉与触觉数据的时空对齐。
  2. 设计了一种新的数据采集系统，能够同步采集具有时空一致性的视觉和触觉信号。
  3. 开发了VR应用“V-Touching”，实现了像素到触觉单元的视觉-触觉联合感知，提供更真实的交互体验。

📝 摘要（中文）

随着VR技术的发展，特别是元宇宙概念的兴起，视觉和触觉感知的融合已成为人机交互中备受期待的体验。因此，在VR应用中实现视觉和触觉信息的时空一致性已成为实现这种体验的必要因素。目前最先进的触觉数据集通常包含通过在物体表面随机滑动采集的时间级触觉信息，以及相应的材料/纹理图像。然而，它们缺乏与信号采集相对应的位置/空间信息，使得难以实现视觉-触觉数据的时空对齐。因此，本文开发了一种新的数据采集系统，可以采集不同纹理/材料的具有空间和时间一致性的视觉和触觉信号。此外，我们利用该系统生成的数据集开发了一个基于VR的应用“V-Touching”，当在虚拟环境中滑动物体表面时，该应用可以提供像素到触觉单元的联合视觉-触觉感知，并具有不同纹理/材料的独特触觉反馈。

🔬 方法详解

问题定义：现有触觉数据集主要关注时间维度的触觉信息，通常通过随机滑动采集，缺乏与触觉信号采集位置对应的空间信息。这导致无法在VR环境中实现视觉和触觉信息的精确时空对齐，影响用户体验。现有方法难以建立像素级别的视觉信息与触觉反馈之间的对应关系。

核心思路：论文的核心思路是构建一个能够同步采集视觉和触觉数据，并记录触觉信号空间位置的数据采集系统。通过精确的空间定位，建立视觉像素与触觉单元（taxel）之间的对应关系，从而在VR环境中实现更真实、更具沉浸感的触觉反馈。

技术框架：该研究的技术框架主要包含两个部分：一是数据采集系统，用于同步采集视觉和触觉数据；二是基于VR的应用“V-Touching”，利用采集的数据集，实现虚拟环境中的视觉-触觉交互。数据采集系统需要能够精确记录触觉信号的空间位置，并与视觉图像进行同步。V-Touching应用则需要将视觉信息与触觉反馈进行关联，实现像素级别的触觉感知。

关键创新：该论文的关键创新在于设计并实现了一个能够同步采集具有时空一致性的视觉和触觉信号的数据采集系统。与现有方法相比，该系统能够提供触觉信号的空间位置信息，从而实现视觉和触觉信息的精确对齐。这为在VR环境中实现更真实的触觉反馈提供了数据基础。

关键设计：具体的数据采集系统设计细节未知，摘要中没有详细描述。但是可以推断，该系统需要包含：1. 精确的空间定位装置，用于记录触觉信号采集的位置；2. 触觉传感器，用于采集触觉信号；3. 视觉传感器（摄像头），用于采集物体表面的图像；4. 数据同步模块，用于保证视觉和触觉数据的时间同步。V-Touching应用的关键设计在于如何将视觉像素与触觉单元进行映射，并根据不同的纹理/材料提供不同的触觉反馈。

📊 实验亮点

论文的主要亮点在于构建了一个新的视觉-触觉数据集，该数据集包含了具有空间和时间一致性的视觉和触觉信息。通过该数据集，开发了一个VR应用“V-Touching”，实现了像素到触觉单元的视觉-触觉联合感知。虽然摘要中没有提供具体的性能数据，但该应用展示了在VR环境中实现更真实触觉反馈的潜力。

🎯 应用场景

该研究成果可广泛应用于VR/AR、游戏、远程医疗、机器人遥操作等领域。例如，在VR游戏中，用户可以触摸虚拟物体并获得真实的触觉反馈，增强沉浸感。在远程医疗中，医生可以通过触觉反馈远程诊断患者病情。在机器人遥操作中，操作员可以通过触觉反馈感知机器人所处环境的物理特性，提高操作精度。

📄 摘要（原文）

With the development of VR technology, especially the emergence of the metaverse concept, the integration of visual and tactile perception has become an expected experience in human-machine interaction. Therefore, achieving spatial-temporal consistency of visual and tactile information in VR applications has become a necessary factor for realizing this experience. The state-of-the-art vibrotactile datasets generally contain temporal-level vibrotactile information collected by randomly sliding on the surface of an object, along with the corresponding image of the material/texture. However, they lack the position/spatial information that corresponds to the signal acquisition, making it difficult to achieve spatiotemporal alignment of visual-tactile data. Therefore, we develop a new data acquisition system in this paper which can collect visual and vibrotactile signals of different textures/materials with spatial and temporal consistency. In addition, we develop a VR-based application call "V-Touching" by leveraging the dataset generated by the new acquisition system, which can provide pixel-to-taxel joint visual-tactile perception when sliding over the surface of objects in the virtual environment with distinct vibrotactile feedback of different textures/materials.