ViHaTeleop: A Low-Cost, Lightweight Visual-Haptic Teleoperation System for Dexterous Manipulation Learning

📄 arXiv: 2608.16572v1 📥 PDF

作者: Fucai Zhu, Yanhou Lai, Paul Maestre, Koichi Hashimoto

分类: cs.RO

发布日期: 2026-08-17

备注: Accepted to the 2026 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 8 pages

💡 一句话要点

提出ViHaTeleop以解决低成本遥操作中的高质量示范收集问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 遥操作 视觉-触觉反馈 灵巧操作 SLAM技术 深度学习 机器人技术 人机交互

📋 核心要点

  1. 现有的低成本遥操作硬件在收集高质量接触关键示范方面存在困难，限制了灵巧操作学习的有效性。
  2. ViHaTeleop系统通过结合视觉和触觉反馈，采用SLAM和摄像头追踪技术，提供了一种低成本且轻量的遥操作解决方案。
  3. 实验结果表明，触觉反馈显著提高了成功率，且在接触清晰度和抓握信心方面也有显著提升，验证了系统的有效性。

📝 摘要（中文）

学习示范是一种有前景的灵巧操作学习方法，但在低成本遥操作硬件下收集高质量的接触关键示范仍然困难。我们提出了ViHaTeleop，这是一种轻量级（0.7公斤）、低成本（550美元）的视觉-触觉遥操作系统，具备基于SLAM的手腕追踪、基于摄像头的手部追踪和通过线性谐振致动器（LRA）提供的指尖振动反馈。该系统在真实和模拟环境中部署于Franka + LEAP手 + 9DTact，并在九名参与者的六个接触关键任务中进行测试。结果显示，触觉反馈在所有任务中均提高了成功率（+2.2至+15.6个百分点），而完成时间的影响则依赖于具体任务。主观评分显示在模拟和现实环境中接触清晰度和抓握信心显著提升（Wilcoxon符号秩检验，p<0.05）。我们还在Isaac Sim中集成了轻量级深度摄像头触觉代理，实现了从多模态示范收集到视觉-触觉策略训练的完整流程。

🔬 方法详解

问题定义：本论文旨在解决低成本遥操作系统在收集高质量接触关键示范时的局限性，现有方法往往无法提供足够的反馈，导致学习效果不佳。

核心思路：ViHaTeleop通过结合视觉追踪和触觉反馈，利用SLAM技术实现手腕追踪，旨在提升遥操作的精确性和用户体验，从而提高示范学习的质量。

技术框架：系统主要由以下模块组成：SLAM-based手腕追踪模块、基于摄像头的手部追踪模块、指尖振动反馈模块，以及在Isaac Sim中的触觉代理模块，形成了一个完整的示范收集和策略训练流程。

关键创新：该系统的创新在于其低成本和轻量化设计，同时集成了视觉与触觉反馈，显著提升了用户在接触关键任务中的操作成功率，与传统方法相比，提供了更为丰富的反馈信息。

关键设计：系统采用LED照明、鱼眼手部摄像头和触觉感知重定向约束等设计，确保了在不同环境下的有效性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，触觉反馈在所有接触关键任务中均提高了成功率，提升幅度在2.2至15.6个百分点之间。此外，主观评分表明用户在接触清晰度和抓握信心方面有显著改善，验证了系统的有效性。

🎯 应用场景

ViHaTeleop系统在机器人操作、远程手术、虚拟现实等领域具有广泛的应用潜力。其低成本和高效能的特性使其适用于教育和训练场景，能够帮助用户在复杂任务中获得更好的操作体验和学习效果。

📄 摘要（原文）

Learning from demonstration is a promising approach for dexterous manipulation, but collecting high-quality contact-critical demonstrations remains difficult with low-cost teleoperation hardware. We present ViHaTeleop, a lightweight (0.7 kg), low-cost (\$550) visual-haptic teleoperation system with SLAM-based wrist tracking, camera-based hand tracking, and finger-wise vibrotactile feedback through Linear Resonant Actuators (LRA). The system includes several design choices (LED illumination, fisheye hand camera, and tactile-aware retargeting constraints) and is deployed on Franka + LEAP Hand + 9DTact in both real and simulated environments. Under matched with/without-haptic conditions with nine participants across six contact-critical tasks, haptics improved success rates across all tasks (+2.2 to +15.6 percentage points), while completion-time effects were task-dependent. Subjective ratings showed significant gains in contact clarity and grasp confidence in both simulation and real-world settings (Wilcoxon signed-rank, $p<0.05$). We also integrate a lightweight depth-camera-based tactile proxy in Isaac Sim, enabling a full pipeline from multi-modal demonstration collection to visual-tactile policy training. Preliminary downstream validation by training visual-tactile policies from collected demonstrations shows tactile cues benefit contact-critical subtasks (peg-in-hole: +17 percentage points over vision-only).