OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs

📄 arXiv: 2607.25669v1 📥 PDF

作者: Haoyang Huang, Wenjie Huang, Tianqi Xu, Hongyaoxing Gu, Kang Tan, Yikai Fu, Yuhao Shen, Tianyu Liu, Baolin Zhang, Jun Zhang, Xinyi Hu, Jun Dai, Shuang Ge, Lei Chen, Yue Li, Mingchen Wang, Meng Zhang

分类: cs.AI

发布日期: 2026-07-28

备注: 24 pages, 8 figures

💡 一句话要点

提出OmniDelta以解决OmniLLMs中的预算分配问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 全模态语言模型 预算分配 令牌压缩 多模态学习 推理效率 技能驱动

📋 核心要点

  1. 现有的压缩方法在固定预算下选择重要令牌，未能有效解决跨模态的预算分配问题。
  2. OmniDelta通过构建技能池和局部复杂性分析，实现了意图感知的跨模态和内容感知的单模态预算分配。
  3. 在Qwen2.5-Omni-7B模型上，OmniDelta在25%令牌保留时减少了22.0%的GPU内存，并实现了1.64倍的端到端加速。

📝 摘要（中文）

新兴的全模态大型语言模型（OmniLLMs）能够统一理解文本、音频和视频，但其长音频-视频令牌序列引入了巨大的内存和推理成本。现有的压缩方法主要关注在固定预算下选择重要令牌，预算分配问题尚未得到充分探讨。本文提出OmniDelta，一个无训练、以技能驱动的框架，结合了意图感知的跨模态分配与内容感知的单模态分配。OmniDelta通过构建音频和视频技能池，根据查询需求调整固定的保留令牌预算，并利用局部复杂性和时间冗余重新分配模态预算。实验结果表明，OmniDelta在多个音频-视频基准上建立了新的准确性-效率Pareto前沿。

🔬 方法详解

问题定义：本文旨在解决OmniLLMs中由于长音频-视频令牌序列导致的内存和推理成本高的问题。现有方法在固定预算下选择重要令牌，未能有效进行跨模态的预算分配，导致重要信息可能被忽略。

核心思路：OmniDelta提出了一种无训练的技能驱动框架，通过构建音频和视频的技能池，根据查询需求动态调整保留令牌的预算，并在此基础上进行模态预算的重新分配。

技术框架：OmniDelta的整体架构包括两个主要模块：意图感知的跨模态分配和内容感知的单模态分配。首先，构建技能池以识别查询需求，然后根据局部复杂性和时间冗余对音频段和视频帧进行预算分配。

关键创新：OmniDelta的创新在于其训练-free的设计和技能驱动的动态预算分配机制，解决了现有方法在固定预算下的局限性，能够更灵活地适应不同的查询需求。

关键设计：在设计中，OmniDelta利用局部复杂性和时间冗余作为预算分配的依据，确保在保留总令牌比例的同时，优化了预算的使用效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个音频-视频基准测试中，OmniDelta在25%令牌保留的情况下，成功减少了22.0%的GPU内存使用，并实现了1.64倍的端到端推理速度提升，展示了其在准确性和效率上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括多模态内容生成、视频分析和智能助手等。通过优化令牌压缩和预算分配，OmniDelta能够显著提升多模态模型的推理效率，降低计算资源消耗，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Emerging Omni-modal Large Language Models (OmniLLMs) enable unified understanding of text, audio, and video, but their long audio-video token sequences introduce substantial memory and inference costs. Existing compression methods mainly focus on selecting important tokens under fixed budgets, leaving the preceding budget-allocation problem underexplored. We show that direct query-to-audio/video similarity is unreliable for inter-modal budget allocation, and that uniform intra-modal budgets can miss key evidence while retaining redundant content. To address these limitations, we propose OmniDelta, a training-free, skill-driven framework that couples intent-aware inter-modal allocation with content-aware intra-modal allocation. OmniDelta first constructs audio and video skill pools to shift the fixed retained-token budget according to query demand, then reallocates modality budgets over audio segments and video frames using local complexity and temporal redundancy. The resulting local budgets can be combined with existing pruning strategies, preserving the total retained-token ratio while changing where the budget is spent. Experiments on four audio-video benchmarks with two Qwen2.5-Omni models show that OmniDelta establishes a new accuracy-efficiency Pareto frontier across pruning ratios. At 25% token retention on Qwen2.5-Omni-7B, OmniDelta reduces GPU memory by 22.0% and achieves a 1.64x end-to-end speedup over full-token inference.