FineCraft: Enhancing VLA Models for Fine-Grained Manipulation
作者: Shuaike Zhang, Ziheng Quan, Junhao Ran, Muhe Ding, Shaokun Wang, Jianlong Wu
分类: cs.RO
发布日期: 2026-11-02
备注: 6 pages, 2 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出FineCraft以解决细粒度操作中的视觉与指令对接问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 细粒度操作 视觉特征提取 任务路由 预训练模型 动态规划
📋 核心要点
- 现有方法在细粒度操作中难以有效结合视觉信息与指令，导致执行精度不足。
- FineCraft框架通过任务路由混合策略，适配预训练模型以提升细粒度操作的执行能力。
- FineCraft在MetaFine挑战中以0.878的总分排名第四，超越了所有基线，显示出显著的性能提升。
📝 摘要（中文）
细粒度操作结合了指令定位、局部视觉精度和持续执行能力。我们提出了FineCraft框架，旨在为MetaFine挑战中的细粒度操作适配预训练模型。该框架通过任务路由混合策略，选择独立适配的DINOv2-DiT或预训练的$π_{0.5}$策略，利用共同的观察-动作接口。局部视觉特征帮助识别指令中的对象部分，演示和专家延续教会所需动作，而新的观察则在执行过程中指导重新规划。FineCraft在五项任务中以0.878的总分排名第四，超越了所有已发布的参考结果。官方结果和本地诊断表征了在视觉扰动、指令变化和多阶段操作中的性能表现。
🔬 方法详解
问题定义：本论文旨在解决细粒度操作中指令与视觉信息的有效结合问题。现有方法在处理复杂指令时，往往无法准确识别目标对象的局部特征，导致操作执行不精确。
核心思路：FineCraft框架通过引入任务路由混合策略，选择适合当前任务的预训练模型，从而提升细粒度操作的执行效果。这种设计能够根据具体任务动态调整策略，增强模型的适应性。
技术框架：FineCraft的整体架构包括三个主要模块：任务路由模块、视觉特征提取模块和执行规划模块。任务路由模块根据输入指令选择合适的策略，视觉特征提取模块利用局部视觉信息识别目标对象，执行规划模块则在执行过程中进行动态调整。
关键创新：FineCraft的主要创新在于其任务路由混合策略的引入，使得模型能够根据不同任务灵活选择适配的策略。这一设计与现有方法的静态策略选择形成鲜明对比，显著提升了操作的灵活性和准确性。
关键设计：在FineCraft中，采用了DINOv2-DiT和预训练的$π_{0.5}$策略作为基础模型，并通过局部视觉特征进行增强。此外，设计了针对不同任务的损失函数，以优化模型在细粒度操作中的表现。整体网络结构经过精心调整，以确保在多阶段操作中保持高效的执行能力。
🖼️ 关键图片
📊 实验亮点
FineCraft在MetaFine挑战中以0.878的总分排名第四，超越了所有已发布的参考结果，显示出在视觉扰动、指令变化和多阶段操作中的优越性能。这一成果证明了FineCraft在细粒度操作中的有效性和创新性。
🎯 应用场景
FineCraft框架具有广泛的应用潜力，尤其在机器人操作、自动化制造和人机交互等领域。通过提升细粒度操作的执行精度，该研究能够推动智能机器人在复杂环境中的应用，提升其自主性和灵活性。未来，FineCraft的技术也可能扩展到其他需要精确操作的领域，如医疗机器人和服务机器人等。
📄 摘要（原文）
Fine-grained manipulation couples instruction grounding, local visual precision, and sustained execution. We present FineCraft, a framework that adapts pretrained models for fine-grained manipulation in the MetaFine Challenge. A task-routed mixture of policies selects independently adapted DINOv2-DiT or pretrained $π_{0.5}$ policies through a common observation-action interface. Local visual features help identify the instructed object parts, demonstrations and expert continuations teach the required actions, and new observations guide replanning during execution. FineCraft ranks fourth with an overall score of $0.878$, exceeding the published reference on all five tasks. Official results and local diagnostics characterize performance across visual perturbations, instruction changes, and multi-stage manipulation. Code is available at https://github.com/eqcy/FineCraft