Role-Conditioned Sub-Token Routing for Efficient Vision-Language-Action Policies

📄 arXiv: 2608.18410v1 📥 PDF

作者: Wei Jiang, Wei Wang

分类: cs.LG

发布日期: 2026-08-19

备注: 12 pages, 5 tables

💡 一句话要点

提出Role-Conditioned Sub-Token Routing以解决VLA模型效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 多模态学习 令牌压缩 信息保留 路由机制 模型效率 智能决策

📋 核心要点

  1. 现有的VLA模型在处理长多模态令牌序列时，面临内存和计算效率低下的问题，尤其在视觉令牌的修剪上存在信息丢失的风险。
  2. 本文提出Role-Conditioned Sub-Token Routing（RoleSub），通过压缩保留令牌的值表示，优化了信息的保留和利用，提升了模型的效率。
  3. 在OpenVLA-OFT-7B上进行的实验显示，RoleSub在36个设置中有33个超越了传统的令牌控制方法，尤其在激进压缩下效果显著。

📝 摘要（中文）

视觉-语言-动作（VLA）模型处理长的多模态令牌序列，导致内存和计算开销大。现有的效率方法主要通过减少视觉令牌来降低开销，但过度的令牌修剪会导致信息丢失。本文提出Role-Conditioned Sub-Token Routing（RoleSub），通过压缩保留令牌的值表示，优化VLA策略的效率。RoleSub在视觉令牌减少后，将每个保留的值表示划分为正交空间中的组，并使用轻量级路由器决定保留哪些组。实验结果表明，RoleSub在多个设置中表现优于传统方法，显著提升了控制性能。

🔬 方法详解

问题定义：本文旨在解决VLA模型在处理长多模态令牌序列时的高内存和计算开销问题。现有方法主要通过减少视觉令牌来提升效率，但过度修剪会导致重要信息的丢失。

核心思路：RoleSub通过压缩保留令牌的值表示，优化了信息的保留和利用。该方法在视觉令牌减少后，将每个保留的值表示划分为多个组，并根据令牌表示、学习的潜在角色表示和语言上下文进行路由决策。

技术框架：RoleSub的整体架构包括视觉令牌的减少、值表示的分组和轻量级路由器的应用。该框架能够在不移除额外令牌的情况下，对视觉和语言表示进行压缩。

关键创新：RoleSub的主要创新在于其角色条件路由机制，能够根据不同的上下文信息动态调整保留的值表示组，与现有的静态令牌修剪方法形成鲜明对比。

关键设计：在设计中，RoleSub使用了轻量级的路由器和正交空间的分组方式，以确保在压缩过程中尽可能保留重要信息，同时优化了计算效率。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，在匹配的视觉-KV预算下，RoleSub在36个设置中有33个超越了训练的令牌控制方法，尤其在激进压缩下表现出最大的性能提升。结合视觉和语言的压缩，整体KV减少至原始的9.2%至11.3%，同时在大多数任务上保持强大的控制性能。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、虚拟助手等多模态交互系统。通过提升VLA模型的效率，能够在资源受限的环境中实现更高效的决策和控制，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-Language-Action (VLA) models process long multimodal token sequences, making inference expensive in both memory and computation. Existing efficiency methods mainly reduce visual tokens, but aggressive token pruning becomes fragile because removing a token discards its entire representation. Sub-token compression provides a complementary alternative by retaining more tokens while reducing their value width. However, directly applying sub-token compression to VLA policies is less effective because information important for perception, language understanding, and control is distributed differently across the multimodal representation. We introduce Role-Conditioned Sub-Token Routing (RoleSub), which learns how to compress the value representations of retained tokens. After visual token reduction, RoleSub partitions each retained value representation into groups in an orthogonal space and uses a lightweight router to determine which groups should be preserved. The routing decision is conditioned on the token representation, a learned latent role representation, and language context. The same mechanism can also be applied to language values, allowing visual and language representations to be compressed without removing additional tokens. We evaluate RoleSub on OpenVLA-OFT-7B across the four LIBERO suites. At matched visual-KV budgets, RoleSub outperforms a trained token-only control in 33 of 36 settings, with the largest gains under aggressive compression. Combining visual and language compression reduces total KV to 9.2--11.3% of the original while retaining strong control performance on most tasks. These results show that reducing the representation within retained tokens provides an effective complement to token pruning for aggressive VLA compression.