Flatness Preserves Instruction Following in Vision-Language-Action Models

📄 arXiv: 2606.23641v1 📥 PDF

作者: Haochen Zhang, Yonatan Bisk

分类: cs.RO

发布日期: 2026-06-22

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出平坦性优化以解决视觉-语言-动作模型的指令盲目问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 指令跟随 平坦性优化 微调技术 鲁棒性提升

📋 核心要点

  1. 现有的视觉-语言-动作模型在有限数据微调时，容易出现指令盲目现象，导致策略脆弱。
  2. 论文提出通过平坦性保持优化来改善微调过程，使得模型在权重空间中对扰动更具鲁棒性。
  3. 实验结果显示，采用尖锐度感知最小化后，指令跟随性能提升超过60%，且无需额外数据或架构修改。

📝 摘要（中文）

视觉-语言-动作（VLA）模型通过利用预训练的视觉-语言表示，具备开放世界泛化的潜力。然而，在有限的机器人数据上进行下游微调时，往往会导致这些表示的退化，形成忽视语言指令而偏向视觉捷径的脆弱策略，称为指令盲目。本文假设标准微调在有限数据上应用梯度于稀疏点，导致高曲率的尖锐损失景观。我们提出通过平坦性保持优化直接解决这一问题，学习更平坦的损失景观使模型对权重空间的扰动更具鲁棒性。实验表明，在不增加数据、架构修改或重训练的情况下，采用尖锐度感知最小化显著提高了指令跟随性能超过60%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在有限数据微调时出现的指令盲目问题，现有方法在此过程中导致模型性能下降。

核心思路：通过平坦性保持优化，学习更平坦的损失景观，使模型对权重空间的扰动更具鲁棒性，从而改善指令跟随能力。

技术框架：整体方法包括数据微调阶段和尖锐度感知最小化阶段，前者使用标准数据集进行微调，后者则在微调过程中应用平坦性优化。

关键创新：最重要的创新在于引入尖锐度感知最小化技术，显著改善了模型在指令跟随任务中的表现，与传统微调方法相比，提升了模型的鲁棒性。

关键设计：在微调过程中，采用特定的损失函数来计算尖锐度，并通过调整超参数来优化模型的学习过程，确保模型在训练时能够保持平坦的损失景观。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，采用尖锐度感知最小化后，模型在多个仿真和真实世界基准测试中的指令跟随性能提升超过60%。这一提升在不增加额外数据或进行架构修改的情况下实现，展示了方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、智能助手和自动化系统等，能够提升这些系统在复杂环境中的指令理解和执行能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action (VLA) models have the potential for open-world generalization by leveraging pretrained vision-language representations, yet downstream finetuning on limited robot data often degrades these representations, leading to brittle policies that ignore language instructions in favor of visual shortcuts, a failure mode we term instruction blindness. We hypothesize that standard finetuning with limited data applies gradients to a sparse set of points, which manifests as a sharp loss landscape with high-curvature minima. We propose to address this directly through flatness-preserving optimization while finetuning on the exact same data, where learning a flatter landscape results in a model more robust to perturbations in the weight space. Specifically, we demonstrate that simply applying sharpness-aware minimization during VLA finetuning significantly improves instruction following by over 60% across multiple simulation and real-world benchmarks without additional data, architectural modification, or retraining. We further analyze the effect of selective sharpness, quantify its effects, and show that our approach is complementary to existing guidance techniques. Project page can be found at https://haochenz11.github.io/papers/flatness-vla/.