Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge
作者: Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam
分类: cs.CV, cs.AI
发布日期: 2026-08-03
💡 一句话要点
提出线性多时间尺度保留模块以解决视觉语言模型的内存瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉语言模型 内存效率 多模态桥接 线性注意力 全局场景理解 对象持久性 深度学习
📋 核心要点
- 现有的视觉语言模型在处理高分辨率图像时，因Softmax多头注意力的$O(N^2)$内存复杂度而面临严重的计算瓶颈。
- 本文提出的LIA-MTR模块通过结合ELU特征映射和自适应门控，实现了内存高效的跨模态信息处理，保持了全局场景理解能力。
- 在实验中，LIA-MTR在MME基准上显著超越行业标准的MLP基线，表现出71.00%的准确率，相较于68.11%有10%的绝对提升。
📝 摘要（中文）
视觉语言模型（VLMs）在处理高分辨率图像时面临计算瓶颈，主要源于Softmax多头注意力（MHA）的$O(N^2)$内存复杂度。虽然用独立的多层感知器（MLPs）替代MHA可以实现$O(N)$的扩展，但这会导致空间序列路由的缺失，严重影响全局场景理解和物体持久性。本文提出了线性多时间尺度保留（LIA-MTR）模块，作为一种内存高效的跨模态桥接。通过结合基于ELU的正特征映射、自适应写入门控和对数线性分布的递归衰减，LIA-MTR将连续视觉序列数学上压缩为有界内存状态。理论分析证明该架构以严格的$O(N)$序列交互复杂度运行。实验证明LIA-MTR在16,000个标记中完美路由上下文，消除了典型线性注意力的“中间丢失”退化。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在处理高分辨率图像时的内存瓶颈问题，现有的Softmax多头注意力机制导致$O(N^2)$的内存复杂度，影响模型性能。
核心思路：提出线性多时间尺度保留（LIA-MTR）模块，通过数学压缩视觉序列为有界内存状态，保持全局场景理解能力，同时降低内存需求。
技术框架：LIA-MTR模块集成了基于ELU的特征映射、自适应写入门控和对数线性分布的递归衰减，整体架构支持高效的跨模态信息处理。
关键创新：LIA-MTR的核心创新在于其能够以$O(N)$的复杂度处理序列交互，避免了传统方法中的内存瓶颈，且保持了空间序列路由能力。
关键设计：该模块的设计包括ELU特征映射的使用、适应性门控机制的实现，以及对数线性分布的递归衰减策略，确保了在处理大规模视觉数据时的高效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LIA-MTR在处理16,000个标记时能够完美路由上下文，且在硬件基准测试中，能够在11.2 GB的VRAM占用下处理262,144个视觉补丁，而标准MHA在16,384个补丁时即出现内存溢出。此外，LIA-MTR在665K对话样本的指令调优后，在MME基准上表现出71.00%的准确率，较MLP基线提升了10%。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实等需要处理高分辨率图像和语言信息的场景。LIA-MTR模块的内存高效性和优越性能将推动多模态系统的进一步发展，提升人机交互的智能化水平。
📄 摘要（原文）
Vision-Language Models (VLMs) face a critical computational bottleneck when processing high-resolution imagery due to the $O(N^2)$ memory complexity of Softmax Multi-Head Attention (MHA). While substituting MHA with independent Multi-Layer Perceptrons (MLPs) achieves $O(N)$ scaling, it strips the architecture of spatial sequence routing, severely degrading global scene understanding and object permanence. In this paper, we propose the Linear Multi-Timescale Retention (LIA-MTR) module, a memory-efficient cross-modal bridge. By integrating an ELU-based positive feature mapping with adaptive write-gating and log-linearly distributed recurrent decays, LIA-MTR mathematically compresses continuous visual sequences into bounded memory states. Theoretical analysis proves the architecture operates with strict $O(N)$ sequence-interaction complexity. Empirically, synthetic retrieval evaluations demonstrate that LIA-MTR flawlessly routes context across 16,000 tokens, eliminating the "Lost in the Middle" degradation typical of naive linear attention. Hardware benchmarking reveals infinite-context scaling capabilities, natively processing 262,144 visual patches within an 11.2 GB VRAM footprint, whereas standard MHA suffers out-of-memory failure at 16,384 patches. Furthermore, following instruction tuning on 665K conversational samples, LIA-MTR significantly outperforms an industry-standard MLP baseline on the MME benchmark (71.00% vs. 68.11%), driven by a 10% absolute improvement in object permanence and superior global semantic extraction. This work establishes a mathematically rigorous, computationally flat foundation for infinite-context Vision-Language integration.