Position Rebinding Cache Reuse: Replay-Free Visual Revisiting for Interleaved Multimodal Reasoning

📄 arXiv: 2606.26631v1 📥 PDF

作者: Mengzhao Wang, Yanli Ji, Wangmeng Zuo, Peng Ye, Chongjun Tu

分类: cs.CV

发布日期: 2026-06-25

💡 一句话要点

提出位置重绑定缓存重用以解决视觉证据重访问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉重访 缓存重用 位置重绑定 深度学习

📋 核心要点

  1. 现有的交错多模态推理方法依赖于令牌重放，导致计算效率低下和潜在的解码崩溃。
  2. 论文提出位置重绑定缓存重用（PRCR），通过重建视觉证据以适应当前解码状态，避免直接复制历史缓存条目。
  3. 实验结果显示，PRCR在多个基准上提高了5%的准确率，并显著减少了视觉重访的计算量。

📝 摘要（中文）

交错多模态推理通过在多步生成过程中重访视觉证据来改善视觉定位，但现有方法通常依赖于令牌重放，反复转发选定的视觉令牌。我们提出位置重绑定缓存重用（PRCR），一种无重放的视觉重访框架。PRCR存储原始视觉键值缓存及其空间坐标，然后为选定条目重新分配位置兼容的坐标，并在将重建的缓存注入活动解码器缓存之前重新绑定其键。实验表明，PRCR在多个多模态推理基准上实现了与重放水平相当或更好的性能，平均准确率提高了5%，视觉重访计算减少了数万次。

🔬 方法详解

问题定义：论文要解决的问题是现有交错多模态推理方法在视觉证据重访时依赖于令牌重放，导致计算效率低下和解码崩溃的风险。现有方法的痛点在于缓存的视觉键已经绑定到其原始位置上下文，导致后续解码时的注意力失真。

核心思路：论文的核心解决思路是通过位置重绑定来重用历史视觉缓存，而不是直接复制位置绑定的历史条目。通过重新分配与当前解码状态兼容的坐标，PRCR能够有效地重建视觉证据。

技术框架：PRCR的整体架构包括三个主要模块：原始视觉KV缓存的存储、位置兼容坐标的重新分配以及重建缓存的注入。首先，系统存储原始视觉KV缓存及其空间坐标；然后，选择条目并重新分配坐标；最后，将重建的缓存注入到活动解码器缓存中。

关键创新：PRCR的最重要技术创新在于其无重放的视觉重访机制，通过位置重绑定来避免缓存条目的位置依赖性，从而保持文本位置的连续性和视觉结构的相对性。与现有方法相比，PRCR显著提高了计算效率和解码稳定性。

关键设计：在设计中，PRCR采用了原始视觉KV缓存的存储结构，并通过空间坐标的重新分配来实现位置重绑定。具体的参数设置和损失函数设计尚未详细说明，可能需要进一步的实验验证。该方法的网络结构与传统的多模态推理框架相结合，以实现更高效的推理过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PRCR在多个多模态推理基准上实现了与重放水平相当或更好的性能，平均准确率提高了5%，并且视觉重访计算量减少了数万次，展现出显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、增强现实等多模态交互场景。通过提高视觉证据重访的效率，PRCR能够在复杂环境中实现更准确的决策支持，未来可能推动多模态推理技术的广泛应用。

📄 摘要（原文）

Interleaved multimodal reasoning improves visual grounding by revisiting visual evidence during multi-step generation, yet existing methods typically rely on token replay, repeatedly forwarding selected visual tokens. A natural shortcut is to reuse the historical visual key-value (KV) cache directly. However, we identify a critical failure mode of this strategy: cached visual keys are already bound to their original positional context. Such stale positional binding distorts attention under later decoding contexts and can trigger severe autoregressive decoding collapse. This failure suggests that effective cache reuse requires reconstructing visual evidence under positions compatible with the current decoding state, rather than directly copying position-bound historical cache entries. To this end, we propose Position Rebinding Cache Reuse (PRCR), a cache-level framework for replay-free visual revisiting. PRCR stores raw visual KV cache together with their original spatial coordinates, then reassigns position-compatible coordinates to select entries and rebinds their keys before injecting the reconstructed cache into the active decoder cache. This design reuses historical visual evidence while preserving textual positional continuity and relative visual structure. Experiments across multiple multimodal reasoning benchmarks show that PRCR achieves replay-level or better performance, improving average accuracy by 5 percent and reducing visual-revisiting computation by up to tens of thousands of times.