RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs

📄 arXiv: 2608.07088v1 📥 PDF

作者: Qiyanhui Lu, Han Wu, Rongjian Xu, Tingzhang Luo, Cheng Fan, Xinghao Chen, Minjing Dong, Jufeng Yang, Jianyuan Guo

分类: cs.CV, cs.AI

发布日期: 2026-08-07

备注: 9 pages, 4 figures, 4 tables. Code is available at https://github.com/LukieLuu/RoRA

💡 一句话要点

提出RoRA框架以解决多模态大语言模型中的视觉标记剪枝问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉标记剪枝 多模态大语言模型 角色导向 区域证据分配 推理效率 计算机视觉 自然语言处理

📋 核心要点

  1. 现有的无训练剪枝方法未能有效跟踪已覆盖的对象区域，导致标记选择的效率低下。
  2. RoRA通过角色导向的区域证据分配，将视觉标记剪枝问题重新定义为优化标记的选择与分配。
  3. 在多个基准测试中，RoRA在高达88.9%的剪枝比下仍能保持96.5%的性能，且显著减少推理时间。

📝 摘要（中文）

多模态大语言模型（MLLMs）将图像编码为长视觉标记序列，这使得预填充和KV缓存存储成本高昂。现有的无训练剪枝方法通过重要性、多样性或空间覆盖选择标记，但将保留的标记视为可互换，未明确跟踪已覆盖的对象相关区域。本文提出RoRA，一个无训练框架，将视觉标记剪枝视为角色导向的区域证据分配。RoRA在固定预算下，将标记划分为受保护的语义核心、互补上下文和细粒度细节，并通过高置信度锚点构建注意力锚定区域（AARs），以轻量级代理覆盖的对象支持。实验表明，RoRA在多个基准上表现优异，能够在高剪枝比下保持大部分准确性。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型中视觉标记剪枝的效率问题。现有方法在标记选择时未能有效区分标记的重要性和覆盖区域，导致性能损失和计算资源浪费。

核心思路：RoRA框架通过角色导向的区域证据分配，优化视觉标记的选择与分配。它将标记分为受保护的语义核心、互补上下文和细粒度细节，以提高剪枝的有效性。

技术框架：RoRA的整体架构包括三个主要模块：首先，使用位置先验和提示校准的对象先验来校准文本条件下的注意力；其次，从高置信度锚点构建注意力锚定区域（AARs）；最后，在AAR外部探索上下文，并通过小的AAR引导预算恢复局部细节。

关键创新：RoRA的创新点在于将视觉标记剪枝视为角色导向的区域证据分配，明确区分保留标记的角色与重要性，克服了现有方法的局限性。

关键设计：在参数设置上，RoRA通过高置信度锚点构建AARs，并在上下文阶段使用成对相似性进行冗余过滤，确保了标记选择的高效性与准确性。整体流程设计简洁高效，能够在极短时间内完成标记选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RoRA在多个基准测试中表现出色，在LLaVA-1.5上实现了88.9%的剪枝比下仍保持96.5%的全性能，同时在Qwen3-VL上相较于D2Pruner提升约5%。此外，在66.7%的剪枝比下，RoRA的标记选择仅需0.7毫秒，推理时间减少24.6%。

🎯 应用场景

RoRA框架在多模态大语言模型的视觉标记剪枝中具有广泛的应用潜力，能够显著提高模型的推理效率和准确性。这一研究成果可广泛应用于计算机视觉、自然语言处理等领域，推动智能系统在实时处理和资源优化方面的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) encode images as long visual token sequences, making prefilling and KV-cache storage expensive. Existing training-free pruning methods select tokens by importance, diversity, or spatial coverage, but treat retained tokens as interchangeable and do not explicitly track which object-related regions are already covered. We present RoRA, a training-free framework that casts visual token pruning as role-oriented regional evidence allocation. Given a fixed budget, RoRA partitions tokens into a protected semantic core, complementary context, and fine-grained detail. It first calibrates text-conditioned attention with a positional prior and a prompt-calibrated object prior, then builds Attention-Anchored Regions (AARs) from high-confidence anchors as lightweight proxies for covered object support. Context is explored mainly outside AARs, while a small AAR-guided budget restores local detail; pairwise similarity is used only for context-stage redundancy filtering. Under matched budgets, RoRA consistently outperforms strong training-free baselines across LLaVA and Qwen-VL families, retaining most of the unpruned accuracy even at aggressive pruning ratios, e.g., 96.5% of full performance at 88.9% pruning on LLaVA-1.5, and improving over D2Pruner by about 5% on Qwen3-VL at 75-90% pruning. At a 66.7% pruning ratio, RoRA requires only 0.7 ms for token selection and reduces end-to-end inference time by 24.6%, corresponding to a 1.33x speedup over unpruned inference on an NVIDIA H800.