Pixel-UMI: Learning Environment-Aware Whole-Body Manipulation from Sensorized Human Demonstrations
作者: Jason Jingzhou Liu, Tony Tao, Deepak Pathak, Ruslan Salakhutdinov
分类: cs.RO, cs.AI, cs.CV, cs.LG, eess.SY
发布日期: 2026-11-02
备注: Video results are available at https://pixel-robot.com/pixel-umi
💡 一句话要点
提出Pixel-UMI以解决传感器化人类示范中的全身操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 全身操控 环境感知 人类示范 机器人学习 动作分配 重定向技术 接触交互 DAgger算法
📋 核心要点
- 现有方法在从人类示范中学习全身操控策略时面临体现差异带来的复杂性，导致策略学习效果不佳。
- 论文提出了Pixel-UMI，通过环境感知重定向和重定向误差感知掩蔽等技术，优化了机器人姿态生成与动作分配。
- 在五个复杂任务上，Pixel-UMI实现了87.0%的平均任务进展，显示出显著的性能提升。
📝 摘要（中文）
传感器化人类示范为移动操控提供了可扩展的数据，但由于体现差异，策略学习变得复杂。我们提出了Pixel-UMI，一个从人类数据中学习环境感知全身策略的管道。首先引入环境感知重定向（EAR），结合重建的场景几何与示范的头部和抓手轨迹，确定机器人姿态并生成碰撞感知的关节和基座目标。延迟校准的动作分配将这些轨迹转换为动作。然而，运动学差异可能导致残余姿态误差，造成示范与机器人观察之间的视角不匹配。因此，我们引入重定向误差感知掩蔽（REAM），在训练中利用这些误差以减少对不匹配视角的依赖。最后，由于估计的动作无法完全捕捉接触丰富的交互，我们通过DAgger收集在线人类修正以提高性能。我们在五个具有挑战性的任务上评估了Pixel-UMI，取得了87.0%的平均任务进展。
🔬 方法详解
问题定义：本论文旨在解决从传感器化人类示范中学习全身操控策略时，由于体现差异导致的策略学习复杂性。现有方法在处理运动学差异和视角不匹配时存在显著不足。
核心思路：论文的核心思路是通过环境感知重定向（EAR）和重定向误差感知掩蔽（REAM）来优化机器人姿态生成和动作分配，从而提高策略学习的有效性和鲁棒性。
技术框架：Pixel-UMI的整体架构包括三个主要模块：环境感知重定向模块、延迟校准动作分配模块和重定向误差感知掩蔽模块。首先重建场景几何，结合人类示范生成目标姿态，然后进行动作分配，最后通过REAM优化训练过程。
关键创新：最重要的技术创新在于引入了重定向误差感知掩蔽（REAM），该方法利用训练中的姿态误差来减少对不匹配视角的依赖，从而提高了策略的适应性和准确性。
关键设计：在设计中，采用了延迟校准的动作分配策略，并通过DAgger算法收集在线人类修正，以增强模型在接触丰富交互中的表现。
🖼️ 关键图片
📊 实验亮点
在五个复杂任务上，Pixel-UMI实现了87.0%的平均任务进展，显示出相较于基线方法的显著提升。这一结果表明，所提出的方法在处理多样化操控任务时具有良好的适应性和有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过提高机器人在复杂环境中的操控能力，Pixel-UMI能够在实际应用中显著提升机器人执行任务的灵活性和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Sensorized human demonstrations offer scalable data for mobile manipulation, but embodiment differences complicate policy learning. We present Pixel-UMI, a pipeline for learning environment-aware whole-body policies from human data. We first introduce Environment-Aware Retargeting (EAR), which combines reconstructed scene geometry with demonstrated head and gripper trajectories to determine robot posture and generate collision-aware joint and base targets. Delay-calibrated action assignment converts these trajectories into actions. However, kinematic differences can leave residual pose errors, creating viewpoint mismatches between human demonstrations and robot observations. We therefore introduce Retargeting-Error-Aware Masking (REAM), which uses these errors during training to reduce reliance on mismatched views at deployment. Finally, because estimated actions cannot fully capture contact-rich interactions, we collect on-policy human corrections through DAgger to improve performance. We evaluate Pixel-UMI on five challenging tasks spanning articulated-object manipulation, deformable-object handling, constrained-space reaching, whole-body collision avoidance, and contact-rich bimanual coordination, achieving 87.0% average task progress. Video results are available at https://pixel-robot.com/pixel-umi