Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?

📄 arXiv: 2606.27755v1 📥 PDF

作者: Guoheng Sun, Kaixi Feng, Shwai He, Xiaochuan Gong, Yexiao He, Ziyao Wang, Zheyu Shen, Wanghao Ye, Ramana Rao Kompella, Gaowen Liu, Ang Li

分类: cs.RO, cs.AI

发布日期: 2026-06-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出Drop-Then-Recovery方法以评估视觉-语言-动作模型的冗余性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 模型冗余 机器人操作 微调 架构优化 深度学习 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型通常使用过大的语言骨干，导致资源浪费和效率低下。
  2. 论文提出了Drop-Then-Recovery（DTR）方法，通过移除模型中的特定块来分析冗余性，并评估其对控制性能的影响。
  3. 实验结果显示，移除一半的语言模型块反而提升了性能，表明语言组件的冗余性较高。

📝 摘要（中文）

视觉-语言-动作（VLA）模型使得基于指令的机器人操作成为可能，但其预训练的语言模型往往过于庞大，超出了短指令的需求。本文研究了VLA模型的架构冗余性，提出了Drop-Then-Recovery（DTR）分析协议，通过移除预训练模型中的特定块并进行微调，评估移除的能力对下游控制的必要性。研究发现，语言骨干在标准机器人操作任务中高度冗余，而视觉和动作路径对移除的容忍度较低。这些结果表明，当前VLA基准对深度语言基础和组合指令理解的压力有限，未来的VLA架构应更合理地分配语言、视觉和动作组件的能力。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型中冗余架构的问题，现有方法未能有效评估各组件的必要性，导致资源浪费。

核心思路：提出Drop-Then-Recovery（DTR）方法，通过系统性移除模型中的特定块并进行微调，评估其对下游任务的影响，从而识别冗余部分。

技术框架：DTR方法包括两个主要阶段：第一阶段是移除选定的transformer块，第二阶段是对移除后的模型进行微调，以测量性能变化。

关键创新：引入GateProbe虚拟门敏感度指标，能够有效评估各块对下游动作损失的贡献，提供了量化冗余性的工具。

关键设计：在实验中，移除的块数量和类型经过精心选择，微调过程中的损失函数和优化策略也经过调整，以确保评估的准确性。实验表明，保留少量语言块仍能恢复基线性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在LIBERO基准上，移除一半的语言模型块使OpenVLA-OFT的性能从95.0%提升至98.3%。即使仅保留两个语言块，模型仍能恢复到基线水平，表明语言组件的冗余性显著。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化制造和人机交互等场景。通过优化视觉-语言-动作模型的架构，可以提高机器人在复杂环境中的操作效率和准确性，推动智能系统的实际应用和发展。

📄 摘要（原文）

Vision-Language-Action (VLA) models enable instruction-driven robotic manipulation, but they inherit oversized language backbones from pretrained VLMs whose capacity far exceeds what is needed for short robotic instructions. This raises a basic question: how much of a VLA model is actually necessary for closed-loop control? In this work, we study architectural redundancy in VLA models by using transformer block removal as a controlled intervention. We introduce \textbf{Drop-Then-Recovery (DTR)}, an analysis protocol that removes selected blocks from a pretrained VLA model and then fine-tunes the resulting model to measure whether the removed capacity was necessary for downstream control. To make this intervention reliable, we propose \textbf{GateProbe}, a one-shot virtual-gate sensitivity metric that ranks blocks by their contribution to the downstream action loss. Across multiple VLA architectures, manipulation benchmarks and even real-robot industrial scenarios, we find a strong asymmetry in post-removal recoverability: \ul{\textit{language backbones are highly redundant for standard robotic manipulation tasks, whereas vision and action pathways are substantially less tolerant to removal}}. On LIBERO, removing half of the LLM blocks even improves OpenVLA-OFT from 95.0% to 98.3% under the same downstream fine-tuning budget, and retaining only two language blocks still recovers baseline-level performance. These results suggest that current VLA benchmarks may exert limited pressure on deep language grounding and compositional instruction understanding, and that future VLA architectures should allocate capacity more deliberately across language, vision, and action components. The code is available at https://github.com/s1ghhh/VLADrop.