LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation

📄 arXiv: 2606.23685v1 📥 PDF

作者: Jiaming Liu, Yinxi Wang, Chenyang Gu, Siyuan Qian, Xiangju Mi, Hao Chen, Jiawei Chen, Qingpo Wuwu, Xiaoqi Li, Nuowei Han, Yiming Zhang, Xuheng Zhang, Yang Yue, Yeqing Yang, Lei Wang, Peng Jia, Hao Tang, Shanghang Zhang

分类: cs.RO

发布日期: 2026-06-22

💡 一句话要点

提出LaST-HD以解决机器人操作中的物理动态对齐问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 物理动态对齐 人机协作 动作学习 潜在推理 世界模型 数据收集 泛化能力

📋 核心要点

  1. 现有方法在机器人操作中，往往依赖几何特征进行运动模仿，难以有效对齐人类与机器人之间的物理动态。
  2. 本文提出LaST-HD，通过在共享的潜在推理空间中对齐人手与机器人示范，训练辅助的世界模型以合成统一的潜在目标。
  3. 实验表明，LaST-HD在仅使用20分钟的Out-of-Lab手套数据的情况下，准确率超过90%，并显著提升了对新环境的适应能力。

📝 摘要（中文）

人手示范为机器人学习提供了直接且可扩展的物理交互数据。现有方法在不同形态之间建立运动对应关系时，往往依赖于几何特征，而忽视了物理动态的对齐。为此，本文提出了LaST-HD，一个新的人机动作学习范式，通过在共享的潜在推理空间中对齐人手与机器人示范，超越了简单的运动模仿。LaST-HD训练了一个辅助的动作条件世界模型，以合成统一的潜在目标，并通过交叉体现表示的对齐，促进了高效的人手动作学习。此外，开发了低成本的Out-of-Lab手套用于人手数据收集，进一步提升了模型的泛化能力和适应性。

🔬 方法详解

问题定义：本文旨在解决机器人操作中人类与机器人之间物理动态对齐不足的问题。现有方法主要依赖几何特征，导致在不同形态间的运动模仿效果不佳。

核心思路：LaST-HD通过在共享的潜在推理空间中对齐人手与机器人示范，训练一个辅助的动作条件世界模型，从而合成统一的潜在目标，超越简单的运动模仿。

技术框架：整体架构包括数据收集、潜在目标合成、交叉体现表示对齐和推理过程。首先，使用Out-of-Lab手套收集人手数据，然后训练世界模型，最后通过对齐过程实现高效学习。

关键创新：LaST-HD的核心创新在于通过共享潜在推理空间实现人手与机器人示范的对齐，突破了传统方法的几何限制，能够更好地捕捉物理动态。

关键设计：在模型设计中，采用了动作条件的世界模型，设置了特定的损失函数以优化潜在目标的合成，并通过混合人机共同训练和在线校正来提升模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LaST-HD在仅使用20分钟的Out-of-Lab手套数据的情况下，准确率超过90%。通过混合人机共同训练，模型在新物体、场景和位置上的泛化能力显著提升，展示了其在实际应用中的有效性。

🎯 应用场景

该研究在机器人操作、自动化制造和人机协作等领域具有广泛的应用潜力。通过高效的物理动态学习，机器人能够更好地适应复杂环境，提高操作精度，进而推动智能机器人在实际场景中的应用。未来，该方法可能会影响机器人学习的标准流程，促进更智能的机器人系统的开发。

📄 摘要（原文）

Human-hand demonstrations provide a direct and scalable source of physical interaction data for robot learning. While manual retargeting is indispensable for establishing kinematic action correspondence across different morphologies, robust transfer requires going beyond geometry to address the underlying alignment of physical dynamics between human and robot manipulation. To address this, we introduce LaST-HD, a novel human-to-robot action learning paradigm that extends reasoning-before-acting VLA by aligning human-hand and robot demonstrations in a shared latent reasoning space. Rather than mimicking human kinematics, LaST-HD trains an auxiliary action-conditioned world model on unpaired human-hand and robot trajectories to synthesize unified latent targets. After aligning cross-embodiment representations in this shared forward-dynamics space, these targets supervise LaST-HD's latent reasoning process, enabling it to internalize shared physical dynamics and drive efficient human-hand action learning. Moreover, we develop Out-of-Lab (OOL) Glove, a low-cost motion-capture glove tailored to LaST-HD for human-hand data collection. The captured human data provide precise keypoints and serve as universal action supervision across grippers and dexterous hands. Armed with the aligned latent space and high-fidelity human-hand data, we develop a progressive mixed-to-human training recipe comprising mixed human-robot co-training and human-hand online correction post-training. Through mixed co-training, LaST-HD improves generalization to novel objects, scenes, and positions using only human-hand demonstrations. With online correction, LaST-HD further adapts to novel environments and achieves over 90\% accuracy using only 20 minutes of OOL glove data.