Improving Vision-Language-Action Model Fine-Tuning with Structured Stage and Keyframe Supervision
作者: Yuan Xu, Yixiang Chen, Kai Wang, Jiabing Yang, Peiyan Li, Qisen Ma, Yan Huang, Liang Wang
分类: cs.RO, cs.CV
发布日期: 2026-06-25
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出StaKe框架以解决VLA模型微调中的结构化监督问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 机器人操作 结构化监督 深度学习 辅助监督
📋 核心要点
- 现有的VLA模型在微调时缺乏针对操作阶段和目标事件的结构化监督，导致在复杂转换时的失败。
- 本文提出StaKe框架，通过自动推导阶段分类和关键帧预测信号，增强VLA模型的学习表示。
- 实验结果显示，StaKe在双手模拟和单臂Franka任务中成功率分别提高了14%和56%，尤其在长时间任务中效果显著。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在通用机器人操作中展现出强大的潜力。然而，在微调过程中，现有的动作监督方法未能针对机器人所处的操作阶段或下一个夹具事件目标提供结构化监督，导致在复杂的夹具事件转换时出现失败。为此，本文提出了StaKe，一个插件式辅助监督框架，能够自动从示范夹具状态中推导出两个互补信号：一个阶段分类器用于识别当前操作阶段，另一个关键帧预测器用于估计下一个夹具转换的目标关节动作。这两个模块作为轻量级辅助头部在训练过程中丰富了学习表示，同时不改变基础VLA策略架构和推理流程。实验结果表明，StaKe在双手模拟和单臂Franka真实机器人任务中均显著提高了成功率，尤其在涉及更多夹具事件转换的长时间任务中表现更为突出。
🔬 方法详解
问题定义：本文旨在解决VLA模型微调过程中缺乏结构化监督的问题。现有方法在所有时间步上均匀应用动作监督，未能针对不同操作阶段提供指导，导致在复杂夹具事件转换时频繁失败。
核心思路：论文提出的StaKe框架通过自动从示范夹具状态中提取阶段分类和关键帧预测信号，提供结构化的辅助监督。这种设计旨在增强模型的学习能力，使其更好地应对复杂的操作任务。
技术框架：StaKe框架主要由两个模块组成：阶段分类器和关键帧预测器。阶段分类器用于识别当前的操作阶段，而关键帧预测器则用于预测下一个夹具事件的目标动作。这两个模块作为轻量级的辅助头部集成到现有的VLA模型中。
关键创新：StaKe的主要创新在于其能够在无需手动标注的情况下，自动生成结构化的监督信号。这一方法与传统的均匀监督方式本质上不同，能够更有效地指导模型学习。
关键设计：在设计中，阶段分类器和关键帧预测器的网络结构均为轻量级，确保在不增加显著计算负担的情况下提升模型性能。损失函数的设计也经过精心调整，以确保两个辅助信号的有效性和互补性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，StaKe框架在双手模拟任务中成功率提高了14%，在单臂Franka真实机器人任务中成功率提高了56%。尤其在长时间任务中，StaKe展现出更大的性能提升，验证了其在复杂操作中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机协作等场景。通过增强VLA模型的微调能力，StaKe框架能够提高机器人在复杂任务中的成功率，从而推动智能机器人在实际应用中的广泛部署与发展。
📄 摘要（原文）
Vision-Language-Action (VLA) models have shown strong potential for generalizable robotic manipulation. During fine-tuning, however, action supervision applies equally across all timesteps, without structured supervision on which manipulation stage the robot is in or what the next gripper-event target should be. This causes failures to concentrate around challenging gripper-event transitions. To address this, we propose StaKe, a plug-in auxiliary supervision framework that automatically derives two complementary signals from demonstration gripper states without manual annotation: a stage classifier that identifies the current manipulation stage, and a keyframe predictor that estimates the target joint action at the next gripper transition. Both are modeled as lightweight auxiliary heads that enrich the learned representations during training, while leaving the base VLA policy architecture and inference loop unchanged. Experiments on bimanual simulation and single-arm Franka real-robot tasks show that StaKe consistently improves success rates (relative gains of 14% and 56%, respectively), with larger improvements on longer-horizon tasks that involve more gripper-event transitions. Ablation studies validate each design choice, and qualitative analysis confirms that the learned representations faithfully track manipulation stages. These results indicate that structured supervision is an effective and general strategy for enhancing VLA fine-tuning in long-horizon manipulation. Project website: https://hi-yuanxu.github.io/StaKe-Web/