FOVEA: Focused On-Demand Visual Evidence Adaptation for Cache-Friendly Multimodal Speculative Decoding

📄 arXiv: 2608.22883v1 📥 PDF

作者: Hengjie Zhu, Dayan Wu, Zihao Zhang, Xinze Liu, Jingxuan Yu, Peng Fu, Zheng Lin, Weiping Wang, Ding Wang

分类: cs.CV

发布日期: 2026-08-24

💡 一句话要点

提出FOVEA以解决多模态解码中的视觉证据适应问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推测解码 视觉证据适应 动态检索 视觉记忆 语言模型 高效解码 智能助手

📋 核心要点

  1. 现有的多模态推测解码方法通常依赖固定的视觉接口，无法适应不同任务的视觉需求，导致效率低下。
  2. FOVEA通过构建可重用的视觉记忆，动态选择适应性视觉证据，从而提高草稿模型的性能和解码速度。
  3. 实验结果显示，FOVEA在多个基准测试中显著提高了草稿接受率和解码速度，最高实现2.13倍的速度提升。

📝 摘要（中文）

多模态推测解码通过允许轻量级草稿模型提出候选标记来加速视觉-语言模型。然而，现有方法通常依赖于固定的视觉接口，未能适应不同任务和解码阶段的视觉需求。FOVEA（Focused On-demand Visual Evidence Adaptation）是一种缓存友好的方法，通过构建可重用的视觉记忆，动态检索适应性视觉证据。实验表明，FOVEA在多个视觉-语言基准上提高了草稿接受率和端到端解码速度，最高可实现2.13倍的速度提升。

🔬 方法详解

问题定义：论文旨在解决现有多模态推测解码方法中固定视觉接口导致的效率低下问题。现有方法未能考虑任务和解码阶段的视觉需求变化，可能导致视觉信息不足或过载。

核心思路：FOVEA的核心思路是构建一个可重用的视觉记忆，通过动态检索适应性视觉证据来满足不同的解码需求。这种方法避免了固定视觉表示的局限性，能够更灵活地适应不同任务。

技术框架：FOVEA的整体架构包括视觉记忆的构建、基于累积质量规则的动态检索、视觉读出聚合以及轻量级的门控残差修正。该框架允许在解码过程中灵活选择和融合视觉信息。

关键创新：FOVEA的主要创新在于状态条件的证据检索机制，这与传统方法中使用固定视觉表示的方式有本质区别。通过动态选择视觉证据，FOVEA能够提高草稿模型的性能和解码速度。

关键设计：在设计中，FOVEA使用累积质量规则来确定选择的视觉记忆条目数量和类型，并通过轻量级的门控残差修正将视觉信息与语言模型的隐藏状态融合，确保了高效的计算和准确的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FOVEA在多个视觉-语言基准测试中表现出色，显著提高了草稿接受率和解码速度，最高实现2.13倍的速度提升，相较于传统的自回归解码方法，展现了其在多模态生成中的有效性和优势。

🎯 应用场景

FOVEA的研究成果在视觉-语言模型的多模态生成任务中具有广泛的应用潜力，尤其是在需要快速响应和高效处理视觉信息的场景，如智能助手、自动驾驶和增强现实等领域。其动态适应的特性将推动多模态系统的智能化和灵活性。

📄 摘要（原文）

Multimodal speculative decoding accelerates vision-language models by allowing a lightweight draft model to propose candidate tokens for parallel verification by a larger target model. Existing methods typically condition the drafter on a fixed visual interface, such as a predefined visual-token budget or a static compressed representation. However, our controlled visual-budget analysis shows that visual demand varies substantially across tasks and decoding stages, which means more visual input is not always beneficial. Actually, insufficient evidence may weaken visual grounding, while excessive context adds overhead and may disrupt drafting. We propose FOVEA (Focused On-demand Visual Evidence Adaptation), a cache-friendly approach that builds a reusable visual memory and dynamically retrieves a bounded subset for a draft state. A cumulative-mass rule determines both how many and which entries are selected. The selected entries are aggregated into a visual readout and fused with the current draft hidden state through a lightweight gated residual correction. Rather than inserting visual tokens into the autoregressive context, the correction modifies only the representation passed to the language-model head. Experiments across multiple vision-language backbones and multimodal benchmarks show that FOVEA improves draft acceptance and end-to-end decoding speed, achieving up to $2.13\times$ speedup over autoregressive decoding. These results demonstrate that state-conditioned evidence retrieval is an effective alternative to reusing a fixed visual representation throughout multimodal generation.