UMI-Live for In-The-Wild Bimanual Robotics Data Collection
作者: Govind Velamoor, Adrian Lin, Sam Jung, Spencer Mateega, Brandon Y. Yang, Amish Sethi
分类: cs.RO, cs.AI
发布日期: 2026-10-29
💡 一句话要点
提出UMI-Live以解决野外双手机器人数据收集问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双手机器人 数据收集 SLAM 开源系统 人机协作 机器人学习 传感器集成
📋 核心要点
- 现有的机器人学习方法依赖于一致的硬件设置和复杂的校准过程，限制了其在真实环境中的应用。
- UMI-Live通过集成多种传感器和计算模块，简化了数据收集过程，支持在野外环境中进行双手操作任务的演示。
- 实验结果显示，UMI-Live在双手拾取和放置任务中取得了高达100%的成功率，验证了其数据质量和实用性。
📝 摘要（中文）
通用操作接口（UMI）设备允许人类专家在不远程操作物理机器人的情况下演示任务以供机器人学习。使用这些演示作为训练数据仍然需要一致的硬件设置、校准和数据处理。我们提出了UMI-Live，一个完整的开源双手UMI系统，用于野外数据收集。我们设计了自定义的UMI-Live硬件，集成了相机和激光雷达-惯性传感器、车载计算和电源，无需外部跟踪设备或在收集环境中的校准。我们实现了一个简单的用户界面来记录数据，同时异步管道执行并行SLAM重建并发布训练准备好的数据集。我们还发布了支持双YAM远程操作和VLA策略训练与推理的软件。通过微调$π_{0.5}$和MolmoAct2，我们验证了UMI-Live数据质量，在双手拾取和放置任务中分别取得了10/10和8/10的成功率。此外，我们发布了40小时的UMI-Live数据，涵盖三个任务，以及完整的硬件设计、软件和复现指南。
🔬 方法详解
问题定义：现有的机器人学习方法在真实环境中进行数据收集时，往往需要复杂的硬件设置和校准，导致效率低下和适应性差。
核心思路：UMI-Live通过设计集成相机、激光雷达和惯性传感器的自定义硬件，消除了对外部跟踪设备和环境校准的需求，从而简化了数据收集过程。
技术框架：UMI-Live的整体架构包括硬件模块（传感器和计算单元）、用户界面和数据处理管道。用户可以通过简单的界面记录数据，而异步管道负责SLAM重建和数据集发布。
关键创新：UMI-Live的最大创新在于其全栈设计，能够在没有外部设备的情况下进行高效的数据收集，这与传统方法的依赖性形成鲜明对比。
关键设计：UMI-Live的设计包括优化的传感器布局、实时数据处理算法，以及支持双YAM远程操作的用户界面，确保了数据收集的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在双手拾取和放置任务中，UMI-Live通过微调$π_{0.5}$和MolmoAct2，分别实现了100%和80%的成功率，显示出其数据质量的优越性。这一结果显著高于传统方法，验证了UMI-Live的有效性。
🎯 应用场景
UMI-Live的设计使其在多种应用场景中具有潜在价值，包括工业自动化、服务机器人和人机协作等领域。其简化的数据收集过程能够加速机器人学习和适应能力的提升，推动智能机器人在复杂环境中的应用。
📄 摘要（原文）
Universal Manipulation Interface (UMI) devices allow human experts to demonstrate tasks for robot learning without teleoperating physical robots. Using these demonstrations as training data still requires a consistent hardware setup, calibration, and data processing. We present UMI-Live, a full-stack open-source bimanual UMI system for in-the-wild data collection. We design our custom UMI-Live hardware to integrate camera and LiDAR--inertial sensing, onboard compute, and power, without external tracking equipment or calibration within the collection environment. We implement a simple user interface for recording data while an asynchronous pipeline performs parallel SLAM reconstruction and publishes training-ready datasets. We also release software that supports dual-YAM teleoperation and VLA policy training and inference. We validate UMI-Live data quality by fine-tuning $π_{0.5}$ and MolmoAct2, achieving success rates of 10/10 and 8/10, respectively on a bimanual pick-and-place task. Furthermore, we release 40 hours of UMI-Live data across three tasks, and complete hardware designs, software, and reproduction guides at our $\href{https://umi-live.github.io/}{\text{project website}}$.