Bridging the Morphology Gap: Adapting VLA Models to Dexterous Manipulation via Intent-Conditioned Fine-Tuning
作者: Chuanke Pang, Junyi Huang, Zhijun Zhao, Yaobing Wang, Kun Xu, Xilun Ding
分类: cs.RO, cs.AI
发布日期: 2026-06-10
💡 一句话要点
提出InDex框架以解决VLA模型在灵巧操作中的适应性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 灵巧操作 数据高效适应 跨形态语义 去噪扩散 机器人抓取 多指末端执行器
📋 核心要点
- 现有的VLA模型在灵巧操作中面临形态差距，导致高自由度抓取能力不足。
- 提出InDex框架，通过跨形态语义继承实现数据高效的适应，利用虚拟抓取意图代理优化控制。
- 实验结果显示，InDex在多阶段接触丰富的灵巧操作任务中，显著提升性能，超越传统基线。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在机器人操作中展现了显著的零-shot 泛化能力，但大多数预训练管道仅限于低自由度的并行抓取器。将这些丰富的语义先验适应于高自由度的灵巧手时，存在严重的形态差距。直接的端到端联合微调会导致空间推理的灾难性遗忘和动作流形的急剧崩溃。本文提出了InDex，一个基于跨形态语义继承的数据高效适应框架。我们将预训练的1自由度并行抓取输出重新利用为连续的宏观虚拟抓取意图代理，以序列化控制拓扑。通过两阶段解耦学习架构，第一阶段高效对齐VLA骨干网络以预测连续的臂轨迹和标量抓取意图；第二阶段冻结空间骨干，利用意图条件去噪扩散头解码多指末端执行器的细粒度关节运动。广泛的仿真基准测试表明，InDex能够以最少的演示数据掌握复杂技能，显著超越单一基线，同时保持原始VLA先验的强大空间泛化能力。
🔬 方法详解
问题定义：本文旨在解决VLA模型在高自由度灵巧手操作中的适应性问题。现有方法在直接微调时容易导致空间推理能力的丧失和动作流形的崩溃，特别是在数据稀缺的情况下。
核心思路：论文提出的InDex框架通过跨形态语义继承，重新利用预训练的1自由度并行抓取输出，作为虚拟抓取意图代理，优化控制拓扑，从而实现高效的适应。
技术框架：InDex采用两阶段解耦学习架构。第一阶段高效对齐VLA骨干网络，预测连续的臂轨迹和抓取意图；第二阶段冻结该骨干，利用意图条件去噪扩散头解码多指末端执行器的细粒度关节运动。
关键创新：InDex的主要创新在于通过意图条件的去噪扩散方法，解决了高自由度灵巧手操作中的形态差距问题，保留了VLA模型的空间泛化能力。
关键设计：在设计中，采用了参数高效的对齐策略，损失函数结合了轨迹预测和抓取意图的优化，网络结构则通过解耦的方式实现了灵巧手的细粒度控制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InDex在多阶段灵巧操作任务中表现优异，使用最少的演示数据，显著超越单一基线，提升幅度达到XX%（具体数据待补充），同时保持了原始VLA模型的空间泛化能力。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、自动化装配和人机协作等。通过提升灵巧手的操作能力，InDex框架能够在复杂环境中实现更高效的任务执行，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Vision-Language-Action (VLA) models have demonstrated remarkable zero-shot generalization in robotic manipulation, yet the vast majority of pre-trained pipelines remain strictly confined to low-DoF parallel grippers. Adapting these rich semantic priors to high-DoF dexterous hands introduces a severe morphology gap, direct end-to-end joint fine-tuning inherently causes catastrophic forgetting of spatial reasoning and acute action manifold collapse due to data scarcity. In this paper, we present InDex, a novel, data-efficient adaptation framework rooted in cross-morphology semantic inheritance. Rather than discarding the pre-trained 1-DoF parallel grasp output, we repurpose it as a continuous, macroscopic virtual grasp intent proxy to sequentialize the control topology. We implement a two-stage decoupled learning architecture: the first stage parameter-efficiently aligns the VLA backbone to predict continuous arm trajectories and the scalar grasp intent; the second stage freezes this spatial backbone and leverages an intent-conditioned denoising diffusion head to decode fine-grained joint articulations for multi-fingered end-effectors. Extensive simulation benchmarks across a suite of multi-stage, contact-rich dexterous manipulation tasks demonstrate that InDex effectively masters intricate skills with minimal demonstration data, substantially outperforming monolithic baselines while preserving the robust spatial generalizability of the original VLA prior.