EgoThumb: A Vision-Driven Supernumerary Robotic Thumb for Autonomous Grasp and Holding Assistance

📄 arXiv: 2610.37582v1 📥 PDF

作者: Jianyu Hou, Jiawei Fu, Weikang Wan, Minghui Jiang, Jiajun Li, Hao Su

分类: cs.RO

发布日期: 2026-10-27

备注: 8 pages, 5 figures. Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)

💡 一句话要点

提出EgoThumb以解决超数指机器人在复杂任务中的局限性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 超数指机器人 视觉驱动 模仿学习 自主操作 人机协作 灵巧手 机器人技术

📋 核心要点

  1. 现有超数指机器人因硬件笨重和缺乏环境上下文的手部动作触发，限制了其在复杂任务中的应用。
  2. EgoThumb通过将驱动装置移至前臂，结合视觉模仿学习，实现了对手部动作的精确控制，增强了操作灵活性。
  3. 实验结果表明，EgoThumb在多样化用户和环境中实现了强大的自主操作能力，具有良好的泛化性能。

📝 摘要（中文）

超数指机器人通过增强人类灵巧性，使单手能够执行通常需要双手协调的复杂“保持与操作”任务。然而，现有设备常因笨重的硬件限制了与大物体的交互，并依赖缺乏环境上下文的明确手部动作触发。为了解决这些挑战，本文提出了EgoThumb，这是一种完全开源的、基于视觉驱动的超数指机器人拇指。EgoThumb具有紧凑的双腱驱动手指，其驱动装置 relocated 到前臂，减轻了远端重量，同时实现了精确的主动关节控制。该系统利用视觉模仿学习策略，将来自手掌朝向相机的自我中心图像直接映射到连续的关节位置。通过隐式解码捕捉手部和感兴趣物体的视觉线索中的人类意图，EgoThumb实现了强大的自主操作能力，并在不同用户和环境中表现出良好的泛化能力。所有硬件设计和软件实现均已在https://ego-thumb.github.io上开源。

🔬 方法详解

问题定义：本文旨在解决现有超数指机器人在复杂操作任务中因硬件笨重和缺乏环境上下文的手部动作触发而导致的局限性。

核心思路：EgoThumb的核心思路是通过将驱动装置移至前臂，减轻手部负担，并利用视觉模仿学习直接将图像映射到关节位置，从而实现更自然的操作。

技术框架：EgoThumb的整体架构包括一个紧凑的双腱驱动手指、前臂驱动机制和一个视觉模仿学习模块，后者负责从摄像头获取图像并进行处理。

关键创新：EgoThumb的主要创新在于其视觉驱动的控制策略，通过隐式解码人类意图，克服了传统方法对明确手部动作的依赖，提升了操作的灵活性和适应性。

关键设计：在设计中，EgoThumb采用了双腱驱动结构，优化了关节控制的精度，并通过视觉模仿学习策略，使用自我中心图像进行关节位置的连续映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EgoThumb在多样化用户和环境中实现了强大的自主操作能力，表现出良好的泛化性能。与传统方法相比，其在操作灵活性和环境适应性上有显著提升，具体性能数据尚未披露。

🎯 应用场景

EgoThumb的潜在应用场景包括家庭自动化、老年人和残疾人辅助、以及工业机器人协作等领域。其灵活的操作能力和自主性使其在复杂环境中具有广泛的实际价值，未来可能推动人机协作的进一步发展。

📄 摘要（原文）

Supernumerary robotic fingers augment human dexterity by enabling a single hand to perform complex "hold-and-manipulate" tasks that typically require bimanual coordination. However, existing devices are often hindered by bulky hardware that limits interaction to large objects and rely on explicit hand motion triggers that lack environmental context. To address these challenges, we present EgoThumb, a fully open-source, vision-driven supernumerary robotic thumb. EgoThumb features a compact, dual tendon-driven finger whose actuation is relocated to the forearm, reducing distal weight while enabling precise active joint control. The system utilizes a visual imitation learning policy that maps egocentric images from a palm-facing camera directly to continuous joint positions. By implicitly decoding human intent from visual cues capturing both the hand and the object of interest, EgoThumb achieves robust autonomous manipulation and strong generalization across diverse users and environments. All hardware designs and software implementations are fully open-sourced at https://ego-thumb.github.io.