R$^2$-Omni: Reducing Structural and Precision Redundancy in Omni-LLMs for Long-Form Generation

📄 arXiv: 2611.03247v1 📥 PDF

作者: Bolong Feng, Pengfei Zhou, Zhenglin Wan, Wei Wang, Wangbo Zhao

分类: cs.CV

发布日期: 2026-11-02

备注: 32 pages, 9 figures

💡 一句话要点

提出R$^2$-Omni以解决Omni-LLMs在长文本生成中的冗余问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本生成 多模态学习 模型压缩 精度优化 结构冗余

📋 核心要点

  1. 现有的Omni-LLMs在处理长文本生成时，存在显著的质量下降，主要由于查询引导选择导致的冗余信息。
  2. 本文提出R$^2$-Omni框架，通过结构感知标记整合和语义敏感性引导的精度分配，解决了标记表示中的结构和精度冗余问题。
  3. 实验结果显示，该方法在内存占用上平均减少5.0倍，生成质量保持在97.98%，并实现1.48倍的速度提升。

📝 摘要（中文）

Omni模态大语言模型（Omni-LLMs）通常处理大量来自音视频输入的多模态标记，导致高计算成本和内存占用。虽然激进的标记修剪可以缓解这一问题，但在生成长文本时，质量显著下降。本文提出R$^2$-Omni框架，通过结构感知标记整合和语义敏感性引导的精度分配，减少标记表示中的结构冗余和精度冗余。实验表明，该方法在内存占用上平均减少5.0倍，同时保持97.98%的生成质量，并实现1.48倍的端到端加速。

🔬 方法详解

问题定义：本文旨在解决Omni-LLMs在长文本生成中存在的结构冗余和精度冗余问题。现有方法在多选任务中表现良好，但在生成开放式长文本时，质量显著下降。

核心思路：R$^2$-Omni框架通过结构感知标记整合（STC）和语义敏感性引导的精度分配（SSPA）来减少冗余，保持生成质量。STC利用视频的时空相似性和音频的局部连续性来整合冗余表示，而SSPA则根据注意力输出误差的估计来分配数值精度。

技术框架：该框架主要包括两个模块：结构感知标记整合（STC）和语义敏感性引导的精度分配（SSPA）。STC负责整合冗余的标记表示，而SSPA则根据语义优先级调整保留表示的精度。

关键创新：最重要的创新在于同时解决了结构冗余和精度冗余的问题，提出了训练无关的框架，显著提升了长文本生成的效率和质量。与现有方法相比，该方法在保持生成质量的同时，显著减少了内存占用。

关键设计：在STC模块中，利用时空相似性和音频连续性进行标记整合；在SSPA模块中，依据量化键下的注意力输出误差来分配精度，确保保留的表示在语义上是敏感的。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，R$^2$-Omni在内存占用上平均减少了5.0倍，同时保持了97.98%的生成质量。此外，该方法实现了1.48倍的端到端速度提升，展示了其在长文本生成中的显著优势。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要生成长文本的场景中，如自动写作、对话系统和内容创作等领域。通过减少计算资源的消耗，R$^2$-Omni能够提高系统的响应速度和用户体验，推动多模态生成技术的发展。

📄 摘要（原文）

Omni-modal large language models (Omni-LLMs) typically process large numbers of multimodal tokens from audio-visual inputs, incurring substantial computational costs and a large memory footprint for the key-value (KV) cache. Aggressive token pruning can alleviate this problem while maintaining competitive performance on multiple-choice tasks, which require only a single option as output. However, we observe substantial quality degradation when generating long-form, open-ended responses. We attribute this gap to query-guided selection, which can retain sufficient evidence for answer selection while discarding details needed for comprehensive generation. This motivates reducing overlapping information across tokens, termed structural redundancy, while preserving diverse content. However, the retained representations may still contain precision redundancy due to unnecessarily high numerical precision in their cached values. To address these two levels of redundancy in token representations, we introduce a training-free framework named R$^2$-Omni. First, Structure-Aware Token Consolidation (STC) consolidates redundant representations using spatiotemporal similarity in video and local continuity in audio. Then, Semantic-Sensitivity Guided Precision Allocation (SSPA) allocates value precision to the retained representations according to the estimated reduction in attention-output error under quantized keys, with query attention and audio-visual alignment providing a semantic prior. Extensive experiments on long-form generation benchmarks demonstrate an average 5.0$\times$ reduction in the memory footprint while preserving 97.98% of baseline generation quality and achieving a 1.48$\times$ end-to-end speedup, highlighting the benefits of jointly reducing structural and precision redundancy.