V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models

📄 arXiv: 2610.37019v1 📥 PDF

作者: Miso Choi, Daekeun Kim, Eunji Kim, Jungbeom Lee

分类: cs.LG, cs.AI, cs.CL, cs.CV

发布日期: 2026-10-27

备注: Accepted at NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出V-LUMEN以解决视觉语言模型的嵌入扩展问题

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 视觉语言模型 嵌入扩展 查找记忆 空间聚合 多模态学习

📋 核心要点

  1. 现有的视觉语言模型在处理连续、空间结构化的视觉特征时面临挑战，无法有效利用嵌入级别的扩展。
  2. V-LUMEN通过离散化视觉特征、构建空间感知记忆键并结合文本条件信号，提供了一种新的视觉查找记忆机制。
  3. 在五个推理密集的基准测试中，V-LUMEN显著提高了模型性能，并在不同数据集上实现了零-shot迁移。

📝 摘要（中文）

嵌入级别的扩展通过基于查找的记忆来增加语言模型的容量，而不是通过增加模型的深度、宽度或密集计算。将这一思想扩展到视觉语言模型（VLMs）面临挑战，因为视觉特征是连续的、空间结构化的，并且依赖于查询。我们提出了V-LUMEN，一种用于VLMs的视觉查找记忆。V-LUMEN通过一个冻结的代码本对视觉特征进行离散化，通过基于空间聚合的哈希构建空间感知的记忆键，并用文本条件相关性信号进行调制；所有的寻址都是非参数化的，检索到的嵌入通过门控残差路径融合到主干网络中。在五个推理密集的基准测试中，V-LUMEN显著改善了冻结的Qwen3-VL-2B主干，并在三个与训练数据不重合的基准上实现了零-shot迁移。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型在处理连续和空间结构化的视觉特征时的嵌入扩展问题。现有方法主要依赖于增加模型的深度和宽度，未能有效利用视觉特征的特性。

核心思路：论文提出的V-LUMEN通过离散化视觉特征并使用空间聚合的哈希构建空间感知的记忆键，从而实现了对视觉特征的有效查找和利用。该方法通过文本条件信号调制记忆键，增强了模型的适应性。

技术框架：V-LUMEN的整体架构包括三个主要模块：1) 离散化模块，通过冻结的代码本对视觉特征进行离散化；2) 记忆构建模块，利用空间聚合哈希生成空间感知的记忆键；3) 融合模块，通过门控残差路径将检索到的嵌入与主干网络融合。

关键创新：V-LUMEN的核心创新在于其非参数化的寻址机制和通过空间聚合构建的记忆键，这与传统的基于参数的模型设计形成了鲜明对比，提供了更高的灵活性和扩展性。

关键设计：在设计中，V-LUMEN采用了冻结的代码本进行特征离散化，确保了查找过程的高效性；同时，门控残差路径的使用使得嵌入的融合过程更加平滑，避免了信息的丢失。整体设计注重在存储和计算效率之间的平衡。

🖼️ 关键图片

fig_0

📊 实验亮点

在五个推理密集的基准测试中，V-LUMEN显著提升了冻结的Qwen3-VL-2B主干的性能，尤其是在三个与训练数据不重合的基准上实现了零-shot迁移。此外，在相同参数预算下，将LoRA或MoE适配器的一部分容量转移至V-LUMEN，仍能保持两个主干的准确性，显示出外部视觉记忆作为独立能力轴的潜力。

🎯 应用场景

V-LUMEN的研究成果在多模态学习、图像理解和自然语言处理等领域具有广泛的应用潜力。通过有效扩展视觉语言模型的能力，该方法可以提升智能助手、自动图像标注和跨模态检索等应用的性能，推动相关技术的进步和实际应用的落地。

📄 摘要（原文）

Embedding-level scaling expands the capacity of language models through lookup-based memory rather than by increasing model depth, width, or dense computation. Extending this idea to vision-language models (VLMs) is challenging because visual features are continuous, spatially structured, and query-dependent, unlike discrete text tokens that naturally support n-gram lookup. We introduce V-LUMEN, a visual lookup memory for VLMs. V-LUMEN discretizes visual features with a frozen codebook, builds spatially aware memory keys through spatial aggregation-based hashing, and modulates them with text-conditioned relevance signals; all addressing is non-parametric, and the retrieved embeddings are fused into the backbone through a gated residual pathway. On five reasoning-intensive benchmarks, V-LUMEN substantially improves a frozen Qwen3-VL-2B backbone and transfers zero-shot to three benchmarks whose images are disjoint from the training data. At a matched parameter budget, moving part of a LoRA or MoE adapter's capacity into V-LUMEN preserves accuracy on two backbones, indicating that external visual memory is an independent capacity axis rather than a stronger adaptation method. Because lookup cost is constant in table size and incurred only once at prefill, this capacity grows in storage rather than in per-token compute. Code is available at https://github.com/miso-choi/V-Lumen.