AcrossDEX 1.0: From Human Motion Pretraining to Bimanual Dexterous Manipulation across Hand Embodiments
作者: Xiaoyu Yang, Nan Wu
分类: cs.RO
发布日期: 2026-10-29
💡 一句话要点
提出AcrossDEX 1.0以解决双手灵巧操作中的人机协调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 双手灵巧操作 人机协调 运动预训练 机器人适应性 视觉闭环执行 动作连续性 接触协调性
📋 核心要点
- 现有方法在双手灵巧操作中缺乏有效的人机协调，导致操作效率低下。
- 本文提出的AcrossDEX 1.0系统通过人类运动预训练和机器人适应性学习，解决了这一问题。
- 实验结果显示，直接回归方法在多个任务中成功率显著提升，尤其在物体重新定位任务中表现优异。
📝 摘要（中文）
双手灵巧操作需要持续协调手腕运动、手指接触和物体运动。人类视频提供了丰富的操作经验，但将其应用于机器人控制需要对人类姿态与机器人指令进行对齐，并考虑特定的身体运动学和接触动态。本文提出了AcrossDEX 1.0，一个学习系统，连接了人类运动预训练、基于仿真的专家学习、机器人演示收集和视觉闭环执行。该系统在HOT3D Aria上进行预训练，能够从五张图像和前一秒的三十个标注手状态中预测一秒的双手运动。机器人适应性保持了视觉编码器、时间骨干和手腕参数，支持不同手型的操作。实验结果表明，该方法在多种任务中表现出色，展示了双手适应的通用管道。
🔬 方法详解
问题定义：本文旨在解决双手灵巧操作中人机协调不足的问题。现有方法在将人类操作经验转化为机器人控制指令时，面临姿态对齐和运动学差异的挑战。
核心思路：论文的核心思路是通过AcrossDEX 1.0系统，将人类运动预训练与机器人适应性学习相结合，以实现高效的双手操作。该设计旨在利用人类丰富的操作经验来指导机器人动作。
技术框架：整体架构包括四个主要模块：人类运动预训练、基于仿真的专家学习、机器人演示收集和视觉闭环执行。系统首先在HOT3D Aria上进行预训练，然后通过机器人适应性学习进行调整。
关键创新：最重要的技术创新在于共享手腕表示和独立手指域的设计，使得系统能够适应不同的手型（如六通道的Inspire手和十六关节的Allegro手），从而提高了灵活性和适应性。
关键设计：系统采用了视觉编码器和时间骨干网络，关键参数设置包括手腕参数的共享和有效性掩码的使用。此外，损失函数的设计考虑了动作连续性和接触协调性。实验中，直接回归、扩散和流匹配方法的比较也为系统性能提供了重要依据。
🖼️ 关键图片
📊 实验亮点
实验结果显示，直接回归方法在开盖和返回任务中成功率达到40.6%，而在Inspire手和Allegro手的重新定位任务中成功率分别为100.0%和93.3%。流匹配方法在Allegro手的重新定位任务中也取得了90.0%的成功率，表明该方法在多种任务中均表现出色。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和医疗辅助等。通过提升机器人在复杂环境中的双手操作能力，能够显著提高工作效率和安全性。未来，该技术有望在更多实际场景中得到应用，推动人机协作的发展。
📄 摘要（原文）
Bimanual dexterous manipulation requires continuous coordination of wrist motion, finger contact, and object motion. Human videos provide rich manipulation experience. Using this experience for robot control requires aligning human poses with robot commands and accounting for embodiment-specific kinematics and contact dynamics. We present AcrossDEX 1.0, a learning system that connects human motion pretraining, simulation-based expert learning, robot demonstration collection, and visual closed-loop execution. Pretraining on HOT3D Aria predicts one second of bimanual motion from five images and thirty annotated hand states over the preceding second. Robot adaptation preserves the visual encoder, temporal backbone, and wrist parameters. Shared wrist representations, separate finger fields, and validity masks support both six-channel Inspire hands and sixteen-joint Allegro hands. The robot policy predicts sixty control targets from frontal images, command history, and task conditions. It executes a prefix and replans from updated observations. We compare direct regression, diffusion, and flow matching on lid opening and return and closed-lid object reorientation. Direct regression achieves success rates of 40.6\% for opening and return, 100.0\% for Inspire reorientation, and 93.3\% for Allegro reorientation. Flow matching achieves 90.0\% on Allegro reorientation. Paired comparisons further show that constraining replanning with the previous plan improves the continuous execution of generative policies. These results demonstrate a common adaptation pipeline for two hand embodiments and highlight the roles of contact coordination and action-chunk continuity.