Encoder Winners Do Not Reliably Transfer Across VLA Backbone Scale: A Frozen-Backbone Grafting Diagnostic

📄 arXiv: 2606.14153v1 📥 PDF

作者: Qingping Zeng, Fei She

分类: cs.CV, cs.RO

发布日期: 2026-06-12

备注: 23 pages, 5 figures, 8 tables

💡 一句话要点

提出冻结骨干移植诊断以解决VLA编码器迁移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 编码器选择 骨干网络 迁移学习 多模态融合

📋 核心要点

  1. 现有的VLA策略在编码器选择上存在不确定性，尤其是在小型和大型骨干网络之间的迁移效果不佳。
  2. 本文提出冻结骨干移植诊断，通过替换视觉塔编码器并保持其他组件不变，评估编码器在不同骨干上的表现。
  3. 实验结果表明，小骨干的最佳编码器在大骨干上并不总是表现最佳，且不同骨干间的排名依赖性显著。

📝 摘要（中文）

视觉-语言-动作（VLA）策略通常从上游的视觉语言模型（VLM）中继承其视觉编码器，但尚不清楚在小型VLA上验证的编码器选择是否能有效迁移到更大的骨干网络。本文引入了一种冻结骨干移植诊断方法：在固定协议下，用候选编码器替换已发布VLA的视觉塔，同时冻结语言模型和动作专家。通过对四个编码器、两个LIBERO套件、两个骨干（SmolVLA-450M和$π_{0.5}$-3.3B）进行实验，发现小骨干的最佳编码器并不一定能在大骨干中表现最佳。该研究为在大规模应用前选择编码器提供了一种低成本的诊断方法。

🔬 方法详解

问题定义：本文旨在解决在视觉-语言-动作（VLA）策略中，编码器选择在不同骨干网络间迁移效果不一致的问题。现有方法未能有效验证小型VLA上表现良好的编码器在大型骨干上的有效性。

核心思路：提出冻结骨干移植诊断，通过在固定协议下替换视觉塔编码器，评估不同编码器在不同骨干上的表现，以此判断编码器的通用性和适用性。

技术框架：整体流程包括：1) 选择候选编码器；2) 在固定协议下替换视觉塔；3) 冻结语言模型和动作专家；4) 进行多轮实验以评估性能。

关键创新：引入了冻结骨干移植的概念，作为一种低成本的诊断工具，帮助研究者在大规模应用前选择合适的编码器，避免了直接部署的风险。

关键设计：实验中采用了自适应平均池化、LayerNorm和单个可训练线性投影器等技术细节，确保了评估过程的标准化和可重复性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在SmolVLA上，SigLIP编码器表现最佳，而在$π_{0.5}$上，DINOv2-small在空间套件中领先，且在对象套件中表现接近。整体上，三分之二的骨干-套件比较支持骨干依赖的排名，表明编码器选择的复杂性。

🎯 应用场景

该研究的潜在应用领域包括多模态学习、机器人控制和智能助手等。通过提供有效的编码器选择方法，能够提升VLA策略在实际应用中的表现，降低开发成本，并加速模型的迭代与优化。

📄 摘要（原文）

Vision-language-action (VLA) policies typically inherit their vision encoder from upstream VLM releases, but it is unclear whether an encoder choice validated on a small VLA transfers to a larger backbone. We introduce a frozen-backbone grafting diagnostic: the vision tower of a released VLA is replaced by a candidate encoder under a fixed protocol (adaptive average pooling, LayerNorm, and a single trainable linear projector), with the language model and action expert frozen. Across four encoders, two LIBERO suites, two backbones (SmolVLA-450M and $π_{0.5}$-3.3B), and two-to-three seeds per cell (40 main grafting runs plus native, LoRA, pooling, and zero-/shuffled-image controls, all scored by offline action MSE), the small-backbone winner does not reliably select the large-backbone top tier: SigLIP is best on SmolVLA across both suites, while on $π_{0.5}$ DINOv2-small leads the spatial suite and the object suite is a seed-sensitive near-tie band; three of the four backbone-suite comparisons (and 11 of 12 seed-level cells) support backbone-dependent rankings. The grafting wrapper is itself non-neutral with opposite sign across backbones (+45-56% MSE on the SmolVLA native tower, -50-52% on $π_{0.5}$), so all conclusions are conditional on the fixed grafting protocol. We position frozen grafting as a cheap target-backbone diagnostic to run before committing to an encoder at scale, not as a closed-loop deployment claim.