HiFi-UMI: Learning Deployable Manipulation Policies from High-Fidelity UMI Data Alone
作者: Simple AI, :, Yuteng Wei, Jinming Ma, Jiawei Wang, Weitao Zhou, Yushen Zuo, Ke Rui, Minglei Li, Jinhao Zhang, Zhikang Pan, Xiang Wang, Haoran Jia, Huan Du, Zicheng Zeng, Jun Ma, Guiyu Qin, Di Zhang, Xiaofei Li
分类: cs.RO, cs.CV, cs.LG
发布日期: 2026-07-28
备注: 33 pages, 15 figures, 4 tables. Project page: https://cloud.simpleai.tech/simple-world-lab/hifi-umi/ Dataset: https://huggingface.co/datasets/simple-world-lab/HiFi-UMI-2K
💡 一句话要点
提出HiFi-UMI以解决高保真数据稀缺问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高保真数据 机器人学习 操作策略 无机器人UMI 数据生产系统 遥操作 精密插入
📋 核心要点
- 现有方法在学习可部署的操作策略时，面临高保真数据稀缺和真实机器人遥操作难以扩展的挑战。
- 论文提出HiFi-UMI，通过提高无机器人UMI数据的保真度，消除了对真实机器人数据的依赖，支持直接在真实机器人上部署策略。
- 实验结果表明，使用HiFi-UMI数据进行后训练的策略在多个任务上表现优异，成功率显著提高，且预训练阶段减少了41%的动作误差。
📝 摘要（中文）
学习可部署的操作策略受到高保真且可扩展数据稀缺的制约。现有的真实机器人遥操作虽然准确，但难以扩展；而无机器人环境下的UMI捕获则易于扩展，现有方法主要用于预训练，后期再添加少量真实机器人数据作为“锚点”。本文提出HiFi-UMI，一个便携式UMI数据生产系统，旨在提高轨迹精度、夹具间相对姿态、同步性和视场。通过该系统生成的数据，展示了零机器人后训练的可能性，直接在真实机器人上部署的策略与三种不同的基础模型的遥操作表现相当，且在多个任务上显著降低了动作误差。
🔬 方法详解
问题定义：本文旨在解决学习可部署操作策略时高保真数据稀缺的问题。现有方法依赖于真实机器人遥操作，难以扩展，且成本高昂。
核心思路：论文的核心思路是通过提升无机器人UMI数据的保真度，消除对真实机器人数据的依赖，从而实现零机器人后训练。
技术框架：HiFi-UMI系统包括头戴式离线立体惯性SLAM、原生相对姿态计算、微秒级GPIO触发和每只手配备两个覆盖约200度视场的广角相机。
关键创新：最重要的创新在于通过高保真数据生成系统，直接在真实机器人上部署策略，而不需要真实机器人数据作为锚点。这一方法在精度和可扩展性上优于现有方法。
关键设计：系统设计中，采用了微秒级同步技术，确保数据的高精度和一致性。通过自动重建和验证的方式，生成的2,000小时数据集为机器人学习社区提供了高保真资源。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用HiFi-UMI进行后训练的策略在精密插入任务中达到了85%的成功率，且与三种基础模型的遥操作表现相当，成功率差异在-2.5至+3.1个百分点之间。此外，预训练阶段降低了41%的动作误差，进一步提升了真实机器人成功率18.1个百分点。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化生产线和智能家居等。通过提供高保真数据，HiFi-UMI能够加速机器人学习和部署过程，降低成本，提高效率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learning deployable manipulation policies is bottlenecked by the scarcity of data that is both high-fidelity and scalable. Real-robot teleoperation is accurate but costly to scale; robot-free UMI capture scales readily, and current practice uses the resulting data mainly for pre-training, adding a small real-robot "anchor" at post-training. We ask whether raising the fidelity of robot-free UMI data, rather than shrinking the real-robot fraction, can remove that anchor. We present HiFi-UMI, a portable UMI data-production system co-designed for trajectory accuracy, inter-gripper relative pose, synchronization, and field of view: head-mounted offline stereo-inertial SLAM, native rather than reconstructed relative pose, a shared microsecond GPIO trigger, and two wide-angle cameras per hand covering ~200 degrees. It reaches 3 mm workspace-local end-effector accuracy without external tracking infrastructure. Using this corpus, we demonstrate zero-robot post-training: a policy post-trained solely on HiFi-UMI demonstrations deploys directly on a real robot and matches in-domain teleoperation across three backbones spanning the vision-language-action and world-action-model families, with success-rate differences of -2.5, +3.1, and -0.6 percentage points on StarVLA-QwenPI, OpenPI-pi_0.5, and LingBot-VA; the strongest policy reaches 85% on a precision insertion task, even though the teleoperation baseline is collected in the evaluation scene and no HiFi-UMI trajectory is. Pre-training on 4,000 hours from the same corpus lowers action error on ten unseen tasks by 41% and, on StarVLA-QwenPI, raises real-robot success by a further 18.1 percentage points. We open-source HiFi-UMI-2K, 2,000 hours of microsecond-synchronized, ultra-wide-FoV demonstrations, each automatically reconstructed and validated through simulation replay, as a large-scale, high-fidelity resource for the robot-learning community.