DigitCode: Symbolic Tokenization of Hand Motion by Anatomical Units
作者: Haoyu Gu, Haotian Lu, Jingrun Du, Xiao-Ping Zhang
分类: cs.RO, cs.AI
发布日期: 2026-08-04
💡 一句话要点
提出DigitCode以解决手部运动符号化表示问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)
关键词: 手部运动 符号化表示 解剖单位 量化误差 人机交互 机器人控制 虚拟现实
📋 核心要点
- 现有的手部运动表示方法主要依赖于连续的参数，缺乏结构性，导致无法有效索引和编辑手指的运动。
- DigitCode通过将Hand Labanotation的字母表适应到手部的解剖单位层级，提供了一种离散的符号表示，显著降低了量化误差。
- 实验结果表明，DigitCode在手部运动的符号化表示上相较于传统方法提升了准确性，并且每个手指的符号可以作为可编辑的句柄。
📝 摘要（中文）
手部运动携带着人类活动中最细致的信息，但现有的手部生成、理解和机器人学习的表示方式主要是连续的，如关节角度或MANO参数。这些表示虽然准确，但缺乏结构性，无法将手指作为符号进行索引或编辑。本文提出DigitCode，通过适应、分组和分层Hand Labanotation（HL）的字母表，构建出一种离散的符号表示，显著降低了符号表示的量化误差。DigitCode的设计使得每个手指的符号可以作为训练无关的可编辑句柄，解决了连续表示无法处理的问题，如修复生成的畸形手部和将其重定向到机器人上。
🔬 方法详解
问题定义：论文要解决的问题是如何将手部运动有效地符号化，以便于索引和编辑。现有方法主要依赖于连续参数，缺乏结构性，导致无法处理手指的细节。
核心思路：DigitCode的核心思路是通过适应、分组和分层Hand Labanotation的字母表，构建出一种离散的符号表示，确保每个符号能够对应手部的解剖单位，从而提高表示的准确性和可操作性。
技术框架：整体架构包括三个主要模块：1) 解剖单位的定义与分层；2) 符号的适应与分组；3) 符号的量化与重构。通过这些模块，DigitCode能够在保持高准确性的同时，提供可编辑的符号表示。
关键创新：最重要的技术创新点在于将解剖单位作为符号的基础，而不是依赖于量化器的家族。这一设计使得在固定单位下，训练无关的强量化器与学习的量化器在重构上是可互换的。
关键设计：在设计中，DigitCode采用了分层的解剖单位结构，确保每个符号能够精确对应到手部的特定部分。此外，论文中还探讨了不同的损失函数和网络结构，以优化符号的生成和重构过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DigitCode在手部运动符号化表示上将量化误差降低了75%。与传统方法相比，DigitCode在准确性上有显著提升，尤其是在处理手指运动的细节时，表现出更高的可操作性和灵活性。
🎯 应用场景
DigitCode的研究成果在多个领域具有潜在应用价值，包括虚拟现实、手势识别、机器人控制等。通过提供可编辑的手部运动符号表示，DigitCode能够帮助开发更智能的交互系统，提升人机交互的自然性和灵活性。未来，该技术可能在手部动作的自动生成和修复方面发挥重要作用。
📄 摘要（原文）
Hand motion carries the finest-grained information in human activity, yet the representations behind hand generation, understanding, and robot learning are overwhelmingly continuous--joint angles or MANO parameters. These are accurate but unstructured: a finger cannot be indexed or edited as a symbol, and nothing marks a pose as anatomically valid. Discrete symbolic representations supply exactly this structure, and Hand Labanotation (HL) has shown they are feasible for the hand, writing motion as a T x 40 grid of one fixed direction symbol per bone. Building on this grid, we ask the question underneath it: the anatomical unit a symbol should span--bone, finger, or whole hand. DigitCode answers it by adapting, grouping, and layering HL's alphabet along the hand's unit hierarchy within one code, cutting the symbolic representation's quantization error by three quarters. The lever is the unit, not the quantizer family: at a fixed unit, training-free and learned strong quantizers are interchangeable on reconstruction, while moving down the anatomical hierarchy is what shifts accuracy. The hierarchy also tracks what downstream tasks need. Because a finger is a genuine, enumerable unit, one per-finger token doubles as a training-free, editable handle for jobs a continuous representation cannot address--repairing malformed generated hands, and retargeting them onto robots. We release HandTok, a reproducible testbed, so hand tokenizers can be compared unit-for-unit. Project page: https://digitcode-demo.github.io.