DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand
作者: Dihong Huang, Zhenyu Wei, Zhuxiu Xu, Yunchao Yao, Sikai Li, Mingyu Ding
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-06-26
备注: Project page: https://devon018.github.io/DexCompose-Webpage/
💡 一句话要点
提出DexCompose以解决单手多任务操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧操控 多任务学习 机器人技术 残差网络 策略组合
📋 核心要点
- 现有的灵巧操控策略在解决单一技能时表现良好，但在多任务组合中面临手指重叠和接触模式冲突的问题。
- DexCompose框架通过角色感知的残差组合，利用预训练的灵巧策略实现多任务操控，明确手指的动作归属。
- 在16个复合灵巧操控任务中，DexCompose的平均成功率达到77.4%，显示出其在技能组合上的有效性。
📝 摘要（中文）
灵巧操控策略能够解决单一技能，但将其组合以实现单手多任务操控仍然具有挑战性。添加新任务往往会对重叠的手指和接触模式施加冲突需求，导致现有操控结果与新任务执行之间的干扰。本文提出DexCompose，一个角色感知的残差组合框架，通过显式的手指级动作归属来重用预训练的灵巧策略。该框架在16个复合灵巧操控任务上进行了评估，平均成功率达到77.4%，展示了双重残差的结构性动作归属在超越传统策略链方面的潜力。
🔬 方法详解
问题定义：本文旨在解决单手多任务操控中的技能组合问题。现有方法在添加新任务时，往往会导致手指重叠和接触模式的冲突，影响操控效果。
核心思路：DexCompose通过角色感知的残差组合框架，重用预训练的灵巧策略，明确手指的动作归属，从而有效地维护现有技能状态并执行新任务。
技术框架：DexCompose的整体架构包括两个主要模块：首先，收集第一个技能的成功后任务状态，并对候选手指掩码进行释放测试，以识别维持技能状态所需的手指；其次，训练两个不对称的残差模块：一个用于任务保持的有界残差稳定器，另一个是上下文感知的残差，仅在分配给新任务的动作子空间内适应冻结的下游策略。
关键创新：DexCompose的主要创新在于引入了结构性动作归属和双重残差模块，这与传统的策略链方法有本质区别，能够更好地处理多任务操控中的冲突。
关键设计：在设计中，DexCompose使用了特定的损失函数来平衡任务保持与新任务执行的需求，同时在残差模块中采用了不对称结构，以适应不同任务的需求。具体的参数设置和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在16个复合灵巧操控任务中，DexCompose实现了77.4%的平均成功率，相较于传统方法有显著提升，展示了其在多任务操控中的有效性和创新性。
🎯 应用场景
该研究的潜在应用领域包括机器人操控、智能家居设备和人机交互等。通过实现灵巧的多任务操控，DexCompose能够提升机器人在复杂环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Dexterous manipulation policies can solve individual skills, but composing them to perform multiple tasks with a single hand remains challenging. Adding a new task on top of an existing manipulation skill often imposes conflicting demands on overlapping fingers and contact modes, causing destructive interference between preserving an existing manipulation outcome and executing a new one. We propose DexCompose, a role-aware residual composition framework that reuses pretrained dexterous policies for multi-task manipulation through explicit finger-level action ownership. Given two pretrained full-hand policies, DexCompose first collects successful post-task states from the first skill and performs release tests over candidate finger masks to identify which fingers are necessary for maintaining the established skill state. It then trains two asymmetric residual modules: a bounded residual stabilizer for task preservation, and a context-aware residual that adapts the frozen downstream policy only within the action subspace assigned to the new task. We evaluate the framework on 16 composite dexterous manipulation tasks spanning four object-retention skills and four downstream interactions. DexCompose achieves a 77.4% average composite success rate, demonstrating that structural action ownership with dual residuals offers a promising direction for composing dexterous skills beyond conventional policy chaining.