Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering

📄 arXiv: 2607.25422v1 📥 PDF

作者: Noor Islam S. Mohammad, Uluğ Bayazıt

分类: cs.AI

发布日期: 2026-07-28

备注: Accepted at the 43rd International Conference on Machine Learning (ICML 2026) Workshop on Efficient Multimodal Question Answering (EMM-QA), Seoul, South Korea. Copyright 2026 by the author(s). (Archival)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SKIP以解决知识密集型多模态问答的计算效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识密集型问答 多模态融合 稀疏计算 视觉令牌修剪 跨模态注意力 推测性知识验证 计算效率 动态预算控制

📋 核心要点

  1. 现有KI-MMQA系统在处理每个查询时均匀承担视觉内容、知识检索和跨模态融合的高计算成本，效率低下。
  2. SKIP通过稀疏路径计算，结合问题、图像和难度估计，优化了计算资源的分配，提升了效率。
  3. 在五个KI-MMQA基准上，SKIP的准确性与强基线相当，但计算量和延迟显著降低，展示了其有效性。

📝 摘要（中文）

知识密集型多模态问答（KI-MMQA）涉及长视觉令牌序列、大规模外部知识库的密集检索以及全跨模态融合，现有系统在每个查询中均匀承担这三项高成本，导致计算效率低下。本文提出SKIP（Salient Knowledge-Injected Pathways），通过稀疏路径的计算路由，结合问题、图像和难度估计，优化计算资源的使用。SKIP实现了视觉令牌的引导修剪、区域条件稀疏检索、双向稀疏交叉注意力和推测性知识验证，显著降低了计算量和延迟，同时保持了准确性。实验结果表明，SKIP在五个KI-MMQA基准上超越了强基线，使用的FLOPs减少了3.4至6.8倍，端到端延迟减少了2.7倍。

🔬 方法详解

问题定义：本文旨在解决知识密集型多模态问答中的计算效率问题。现有方法在处理每个查询时均匀承担视觉内容、知识检索和跨模态融合的高计算成本，导致资源浪费和响应延迟。

核心思路：SKIP通过稀疏路径的计算路由，结合问题、图像和难度估计，优化计算资源的使用。该方法只关注与特定问题相关的视觉内容和知识，从而提高效率。

技术框架：SKIP的整体架构包括四个主要模块：问题引导的视觉令牌修剪、区域条件的稀疏检索、双向稀疏交叉注意力和推测性知识验证。每个模块在计算过程中根据问题的难度动态调整计算预算。

关键创新：SKIP的主要创新在于其稀疏路径计算的设计，能够根据问题的特性和难度动态调整计算资源的分配，与现有方法的均匀计算方式形成鲜明对比。

关键设计：SKIP采用了信息瓶颈理论推导的视觉稀疏率，确保在保持准确性的同时，计算复杂度显著降低。关键参数设置和损失函数的设计也经过精心调整，以适应多模态数据的特性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在五个KI-MMQA基准上，SKIP的准确性与强基线相当，但在计算效率上表现优异，使用的FLOPs减少了3.4至6.8倍，端到端延迟减少了2.7倍，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育技术、在线客服和信息检索等。通过提高多模态问答的计算效率，SKIP能够在资源受限的环境中提供更快的响应，提升用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Knowledge-intensive multimodal question answering (KI-MMQA) sits at the intersection of three expensive primitives: long visual token sequences, dense retrieval over large external corpora, and full cross-modal fusion. Existing systems pay all three costs uniformly per query, even though only a small fraction of visual content and retrieved knowledge is actually relevant to any given question. We introduce SKIP (Salient Knowledge-Injected Pathways), a unified inference architecture that routes computation along sparse pathways jointly conditioned on the question, the image, and a difficulty estimate. SKIP combines question-guided visual token pruning, region-conditional sparse retrieval, bipartite sparse cross-attention, and speculative knowledge verification with an adaptive budget controller that allocates compute proportional to predicted question difficulty. We derive an information-bottleneck bound showing that the optimal visual sparsity rate scales as $O(1/\sqrt{N})$ under realistic question-image mutual-information assumptions, with retained accuracy guarantees. Across five KI-MMQA benchmarks (OK-VQA, A-OKVQA, InfoSeek, Encyclopedic-VQA, and ViQuAE), SKIP matches or exceeds the accuracy of strong dense baselines while using $3.4$--$6.8\times$ fewer FLOPs and $2.7\times$ less end-to-end latency. Code available at: https://pmlrbd.github.io/skip/