Teleopit: A Full-Embodiment Humanoid Teleoperation System
作者: Bingqian Wu, Zicheng Xu, Xianghui Fan, Dayu Li, Xiangru Huang
分类: cs.RO
发布日期: 2026-08-03
备注: 17 pages, 16 figures. Project page: https://botrunner64.github.io/teleopit-page
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Teleopit以解决类人机器人远程操作的协调控制问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 类人机器人 远程操作 灵巧手 运动跟踪 虚拟现实 优化算法 人机协作
📋 核心要点
- 现有的类人机器人远程操作系统在手部控制和全身运动协调方面存在不足，难以实现高精度的操作。
- Teleopit通过将VR中的身体信号映射到类人机器人，结合历史编码器和优化手部重定向器，解决了手部运动控制的复杂性。
- 实验结果表明，使用Teleopit收集的96个成功演示，ACT和GR00T N1.7策略在类人机器人上的任务成功率分别达到了90.0%和95.0%。
📝 摘要（中文）
类人机器人远程操作在演示收集中需要协调的全身运动、连续的灵巧手部控制和视角控制。现有系统要么简化手部指令，要么依赖专用可穿戴传感器进行精细的手部运动控制。我们提出了Teleopit，一个全身体现的远程操作系统，将虚拟现实中的身体、手和头部信号映射到类人机器人、可配置的灵巧手和2自由度的主动视觉模块。历史编码器和故障感知的回放采样提高了运动跟踪器在运动捕捉和实时虚拟现实参考下的表现。基于优化的手部重定向器结合了标准化的手指方向、指尖闭合和拇指框架对齐，将人类手部运动映射到不同的灵巧手，而无需调整特定于手的目标或求解器超参数。组件实验评估了跟踪成功率和重定向行为，而真实机器人远程操作展示了协调的运动、操作和视角控制。
🔬 方法详解
问题定义：本论文旨在解决类人机器人远程操作中的协调控制问题，现有方法在手部运动的精细控制和全身运动的协调性上存在明显不足，导致操作效果不理想。
核心思路：论文提出的Teleopit系统通过将虚拟现实中的身体、手和头部信号映射到类人机器人，利用历史编码器和优化手部重定向器，实现高效的手部运动控制和全身协调。
技术框架：Teleopit系统包括多个模块：首先是信号采集模块，负责从VR环境中获取用户的动作信号；其次是运动跟踪模块，利用历史编码器和回放采样技术提高跟踪精度；最后是手部重定向模块，通过优化算法将人类手部运动映射到灵巧手。
关键创新：本研究的主要创新在于提出了一种无需调整手部特定目标或求解器超参数的手部重定向方法，显著简化了手部控制的复杂性。
关键设计：在手部重定向过程中，采用了标准化的手指方向、指尖闭合和拇指框架对齐等设计，确保了不同灵巧手之间的高效映射。
🖼️ 关键图片
📊 实验亮点
在实验中，使用Teleopit收集的96个成功演示，ACT和GR00T N1.7策略在类人机器人上的任务成功率分别达到了90.0%和95.0%。这一结果表明，Teleopit在协调运动和操作控制方面具有显著优势。
🎯 应用场景
Teleopit系统具有广泛的应用潜力，尤其在远程医疗、教育培训和人机协作等领域。通过实现高精度的类人机器人操作，能够提升远程操作的效率和安全性，未来可能推动智能机器人在更多复杂场景中的应用。
📄 摘要（原文）
Humanoid teleoperation for demonstration collection requires coordinated whole-body motion, continuous dexterous hand control, and viewpoint control. Existing systems either simplify hand commands or depend on dedicated wearable sensors for fine-grained hand motion. We introduce Teleopit, a full-embodiment teleoperation system that maps body, hand, and head signals from VR to a humanoid body, configurable dexterous hands, and a 2-DoF active vision module. A history encoder and failure-aware rewind sampling improve the motion tracker on both motion-capture and live VR references. An optimization-based hand retargeter combines normalized finger directions, fingertip closure, and thumb-frame alignment to map human hand motion to different dexterous hands without tuning hand-specific objective or solver hyperparameters. Component experiments evaluate tracking success rate and retargeting behavior, while real-robot teleoperation demonstrates coordinated locomotion, manipulation, and viewpoint control. ACT and GR00T N1.7 policies trained on 96 successful demonstrations collected with Teleopit achieve task success rates of 90.0% and 95.0%, respectively, when deployed on the humanoid. The project page is available at https://botrunner64.github.io/teleopit-page.