Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation

📄 arXiv: 2606.31382v1 📥 PDF

作者: Fengnian Zhang, Tao Huang, Siyu Xu, Zhong Jin, Chang Xu

分类: cs.RO

发布日期: 2026-06-30

备注: 22 pages, 3 figures, ECCV 2026 Conference

💡 一句话要点

提出一种新方法以解决视觉-语言-动作模型的参数冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 参数剪枝 模型适应 因果关系 多模块联合剪枝 具身智能 资源优化

📋 核心要点

  1. 现有的视觉-语言-动作模型在参数剪枝时表现出极大的性能敏感性，导致性能下降被视为不可避免。
  2. 论文通过质疑参数冗余的传统观点，提出了受控剪枝的方法，以量化参数发散并建立因果关系。
  3. 在LIBERO基准测试中，提出的方法在不进行后续恢复的情况下，成功减少了模型参数，同时保持了高性能。

📝 摘要（中文）

视觉-语言-动作（VLA）模型在具身智能领域取得了显著进展，但其庞大的参数规模带来了巨大的计算负担，并且对参数剪枝极为敏感。现有方法通常将性能下降视为不可避免，依赖微调或低秩修正来恢复效果。本文质疑这一常规，探讨在VLA剪枝中被移除的参数是否真的冗余。通过VLM到VLA的适应过程，我们量化了参数发散的空间分布，并引入了受控剪枝作为诊断工具，建立了适应引起的发散信号与功能贡献之间的因果关系。实验表明，我们的方法在保持约90%原始性能的同时，减少了OpenVLA和$π_{0.5}$的参数12%-30%。

🔬 方法详解

问题定义：本文旨在解决视觉-语言-动作模型在参数剪枝时的性能下降问题，现有方法往往将这种下降视为不可避免，缺乏对参数冗余的深入分析。

核心思路：论文提出通过VLM到VLA的适应过程重新审视参数冗余，利用受控剪枝方法直接评估不同参数子集对模型性能的影响，以此揭示关键参数的作用。

技术框架：整体框架包括两个主要阶段：首先量化适应过程中的参数发散，揭示不同模块的结构化模式；其次，通过受控剪枝比较不同参数子集的直接影响，建立因果关系。

关键创新：最重要的创新在于通过受控剪枝方法，挑战了传统的参数冗余观念，揭示了适应过程中参数的功能贡献与发散信号之间的因果关系。

关键设计：在设计中，采用了多模块联合剪枝方案，确保在减少参数的同时保持模型性能，具体参数设置和损失函数的设计细节在实验中进行了验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，提出的方法在LIBERO基准测试中成功将OpenVLA和$π_{0.5}$的参数减少了12%-30%，而性能保持在约90%的原始水平。相比之下，现有的参数剪枝标准在相同条件下导致了性能的完全崩溃，显示出本研究的显著优势。

🎯 应用场景

该研究为资源受限环境中的高效、鲁棒的机器人策略部署提供了新路径，具有广泛的应用潜力，尤其是在智能机器人和自动化系统中。通过优化模型参数，能够在保持性能的同时降低计算资源消耗，推动智能系统的实际应用。

📄 摘要（原文）

Vision-Language-Action (VLA) models have made significant strides in embodied intelligence by integrating the powerful representations of pre-trained Vision-Language Models (VLMs). However, the massive parameter scale of VLAs imposes a heavy computational burden, and these models exhibit extreme sensitivity to parameter pruning. Current paradigms often treat the resulting performance degradation as inevitable, relying on fine-tuning or low-rank corrections to recover efficacy. We challenge this convention by questioning whether the removed parameters are truly redundant if VLA pruning necessitates performance recovery to be effective, or if this paradigm masks the indiscriminate pruning of critical parameters. We revisit parameter redundancy through the lens of VLM-to-VLA adaptation, first quantifying the spatial distribution of parameter divergence during adaptation to reveal structured patterns across different modules. Subsequently, we introduce controlled pruning as a diagnostic probe: by comparing the direct impact of removing different parameter subsets on VLA performance without any fine-tuning, we establish a causal link between adaptation-induced divergence signals and functional contributions. Based on the discovered modular heterogeneities, we design a multi-module joint pruning scheme. Evaluations on the LIBERO benchmark demonstrate that our approach reduces the parameters of OpenVLA and $π_{0.5}$ by 12\%--30\% while maintaining approximately 90\% of the original performance without any post-pruning recovery. In contrast, existing parameter pruning criteria result in total performance collapse when evaluated under the same recovery-free constraints. Our study reveals the parameter evolution mechanism in VLA adaptation and provides a new path for deploying efficient, robust robotic policies in resource-constrained environments.