HandEdit: A Unified Benchmark for Egocentric Human-to-Robot Dexterous Hand Image Editing
作者: Zhenjie Yang, Xingyu Jiao, Guopeng Zhong, Shuzhe Yang, Shi Che, Chao Wu, Chenyu Jiang, Dongjie Zhang, Yideng Zhang, Zheng Zhang, Muyun Jiang, Haisheng Su, Shuang Jin, Donghang Zhang, Chao Yang, Li Chen, Hongyang Li, Zuxuan Wu, Yu-Gang Jiang, Xiaosong Jia, Junchi Yan
分类: cs.RO, cs.CV
发布日期: 2026-08-12
备注: Technical Report. Project Page: https://handedit.github.io/
💡 一句话要点
提出HandEdit以解决人机手部图像编辑的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 图像编辑 具身人工智能 数据集构建 人机协作 虚拟现实 增强现实
📋 核心要点
- 现有方法在收集具身意识的遥操作数据时成本高昂，且人类与机器人数据之间存在显著差异，导致共同训练面临挑战。
- 本文提出HandEdit数据集，旨在通过将人类手部和手臂转化为灵巧机器人形态，解决人机图像编辑的难题。
- 通过对11个代表性图像编辑基线的广泛评估，HandEdit展示了在具身意识编辑模型和灵巧机器人学习方面的显著进展。
📝 摘要（中文）
灵巧手部的机器人操作是具身人工智能的核心，但收集具身意识的遥操作数据成本高昂。虽然人类手部的第一人称视频提供了可扩展的替代方案，但人类与机器人数据在外观、关节运动和摄像机视角上的显著差异使得共同训练面临挑战。现有的图像编辑模型虽然表现出强大的能力，但缺乏必要的具身特定先验知识来弥补这一差距。为此，本文提出了HandEdit，一个统一的大规模具身意识图像编辑数据集和基准，旨在将人类手部和手臂转化为各种灵巧的机器人形态。HandEdit包含来自五个不同源数据集的超过2亿个编辑实例，涵盖26种不同的URDF，包括13种仅手部和13种手臂配置。我们还建立了一个统一的基准协议，支持URDF条件评估。
🔬 方法详解
问题定义：本文旨在解决人类与机器人在手部图像编辑中的显著差异，现有方法缺乏具身特定的先验知识，导致无法有效进行共同训练。
核心思路：提出HandEdit数据集，通过将人类手部和手臂转化为灵巧机器人形态，提供丰富的编辑实例，以支持具身意识的图像编辑。
技术框架：HandEdit数据集由五个源数据集构成，包含超过2亿个编辑实例，建立了统一的基准协议，分为手部和手臂两个评估轨道，支持URDF条件评估。
关键创新：最重要的创新在于构建了一个大规模的具身意识图像编辑数据集，填补了人类与机器人数据之间的差距，推动了具身意识编辑模型的发展。
关键设计：在数据集构建中，采用了多维度的评估指标，包括通用相似性指标、基于视觉语言模型的判断和具身意识指标，以全面评估编辑效果。
🖼️ 关键图片
📊 实验亮点
在实验中，HandEdit对11个图像编辑基线进行了评估，显示出在具身意识编辑模型方面的显著提升，具体性能数据和提升幅度未知，表明该数据集在推动机器人学习中的重要性。
🎯 应用场景
该研究的潜在应用领域包括人机协作、虚拟现实和增强现实等场景，能够为灵巧机器人在复杂环境中的操作提供支持。通过利用丰富的人类视频数据，HandEdit有助于加速灵巧机器人的学习过程，推动具身人工智能的发展。
📄 摘要（原文）
Robotic manipulation with dexterous hands is a cornerstone of Embodied AI, yet its progress is stifled by the high cost of collecting embodiment-aware teleoperation data. While abundant egocentric videos of human hands offer a scalable alternative, the profound discrepancies in appearance, articulation, and camera viewpoints between human and robotic data raise significant challenges for co-training. Though existing general image-editing models demonstrate strong capabilities, they lack necessary embodiment-specific priors to fully bridge this gap. In this work, we present HandEdit, a unified large-scale embodiment-aware image-editing dataset and benchmark specifically designed to transform human hands and arms into various dexterous robotic embodiments within egocentric frames. HandEdit comprises over 200M editing instances derived from five diverse source datasets, covering 26 distinct URDFs, including 13 hand-only and 13 hand-arm configurations. Alongside the dataset, we establish a unified benchmark protocol with two tracks: Hand-only and Hand-Arm, supporting URDF-conditioned evaluation. We conduct extensive evaluations of 11 representative image-editing baselines using a multi-dimensional metric suite, including generic similarity metrics, VLM-based judgment, and embodiment-aware metrics. HandEdit serves as a critical resource at the intersection of image editing and robotics: it advances embodiment-aware editing models while enabling scalable dexterous robotic learning from abundant human video data, paving the way for more generalizable Embodied AI.