AutoDex: An Automated Real-World System for Dexterous Grasping Data Collection
作者: Mingi Choi, Gunhee Kim, Jisoo Kim, Taeksoo Kim, Taeyun Ha, Jongbin Lim, Hanbyul Joo
分类: cs.RO, cs.LG
发布日期: 2026-06-22
备注: 16 pages, 9 figures. Includes supplementary material
💡 一句话要点
提出AutoDex以解决真实环境中灵巧抓取数据收集问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧抓取 数据收集 自动化系统 机器人技术 物体识别 碰撞监测 多视角感知
📋 核心要点
- 现有方法在真实环境中收集灵巧抓取数据面临效率低和偏见影响等挑战。
- AutoDex通过自动化的方式，整合感知、执行、标记和重置等环节，实现高效的数据收集。
- 实验表明，AutoDex在抓取试验的收集上显著提高了效率，成功率也优于仅依赖仿真的方法。
📝 摘要（中文）
学习稳健的灵巧抓取需要记录抓取尝试的物理结果的真实世界数据。然而，这类数据难以大规模获取：遥操作虽然能产生有效的物理结果，但速度慢且受操作员偏见影响；而基于仿真的生成方法虽然便宜且可扩展，但无法验证接触的有效性。为此，本文提出AutoDex，一个自动化的真实世界数据收集系统，能够在没有人工干预的情况下完成整个数据收集循环。AutoDex通过密集的20摄像头感知技术，在严重的手-物体遮挡下定位物体，执行监测碰撞的机器人动作，标记抓取成功或失败，并在试验间主动重置物体，从而收集到可重用的物理标记抓取试验数据库。使用AutoDex，我们在100个多样化物体上收集了3,593个抓取试验，且与遥操作相比，数据收集效率提高了4.8倍。
🔬 方法详解
问题定义：本文旨在解决在真实环境中高效收集灵巧抓取数据的问题。现有方法如遥操作效率低且受操作员偏见影响，而仿真方法无法验证抓取的物理有效性。
核心思路：AutoDex的核心思想是通过自动化系统，消除人工干预，实现从感知到执行再到数据标记的全流程自动化，以提高数据收集的效率和准确性。
技术框架：AutoDex的整体架构包括多个模块：首先是通过20个摄像头进行密集感知，定位物体；其次，执行监测碰撞的机器人动作；然后，标记抓取的成功或失败；最后，主动重置物体以便于后续抓取尝试。
关键创新：AutoDex的主要创新在于其全自动化的数据收集循环，能够在没有人工干预的情况下高效完成抓取试验的收集，这与传统方法的人工干预形成鲜明对比。
关键设计：在技术细节上，AutoDex采用了密集的多视角摄像头系统以提高物体定位的准确性，并设计了碰撞监测机制以确保抓取动作的安全性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用AutoDex收集的抓取试验成功率为76%，而仅依赖仿真验证的成功率仅为34%。在匹配的500个轨迹收集中，AutoDex的收集时间为10.3小时，相较于遥操作的49.4小时，效率提升了4.8倍。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化仓储、智能制造等。通过提供高质量的抓取数据，AutoDex能够帮助提升机器人在复杂环境中的操作能力，推动智能机器人技术的进一步发展。
📄 摘要（原文）
Learning robust dexterous grasping requires real-world data that records the physical outcomes of grasp attempts. Such data is hard to obtain at scale: teleoperation yields valid physical outcomes but is slow and operator-biased, while simulation-based generation is cheap and scalable but cannot certify contact validity. A natural solution is to generate candidate grasps and verify them on real hardware, but this scales only if the entire collection loop (perception, execution, labeling, and reset) runs without human intervention. We present AutoDex, an automated real-world data-collection system that closes this loop: for each candidate from a replaceable generator, it localizes the object under severe hand-object occlusion with dense 20-camera perception, executes collision-monitored robot motions, labels lift-and-hold success or failure, and actively resets the object between trials to expose additional candidates across stable poses. The result is a reusable database of physically labeled grasp trials that downstream systems can query by retrieval and feasibility filtering. Using AutoDex, we collect 3,593 grasp trials across Allegro and Inspire hands on 100 diverse objects, with synchronized multi-view observations and robot-state logs. For a matched 500-trajectory collection, AutoDex requires 10.3 h versus 49.4 h for teleoperation, yielding a 4.8x throughput improvement, and grasps retrieved from the AutoDex-validated database succeed 76% versus 34% for simulation-only validation. Code and data will be publicly released.