Raincheck: Deferred Multimodal Prefill for Efficient Multi-Turn MLLM Inference

📄 arXiv: 2610.39562v1 📥 PDF

作者: Wenjie Huang, Jun Zhang, Hongyaoxing Gu, Haoyang Huang, Tianqi Xu, Xinyue Hao, Xinyi Hu, Xinle Du, Jun Dai, Shuang Ge, Chen Lei, Yue Li, Mingcheng Wan

分类: cs.CL, cs.AI

发布日期: 2026-10-29

💡 一句话要点

提出Raincheck框架以解决多轮对话中的信息利用效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 多轮对话 信息利用效率 延迟预填 剪枝方法

📋 核心要点

  1. 现有的多模态大语言模型在多轮对话中面临长输入导致首次生成令牌时间增加的问题。
  2. Raincheck框架通过延迟预填策略，解耦初始令牌选择与后续信息的可用性，提高了信息利用效率。
  3. 实验结果显示，Raincheck在多个模型上恢复了77.7%和60.4%的质量损失，并显著降低了TTFT。

📝 摘要（中文）

多轮对话中，多模态大语言模型（MLLMs）重用输入上下文，但长多模态输入增加了首次生成令牌的时间（TTFT）。现有的查询感知硬剪枝方法虽然减少了预填令牌，但会永久排除后续问题可能需要的信息。为此，本文提出了Raincheck框架，采用延迟多模态预填策略，将初始令牌选择与后续信息可用性解耦。该框架在解码过程中利用未使用的计算能力，逐步预填未选择的令牌，并在答案返回后继续预填。实验表明，Raincheck在多个模型和剪枝方法中有效恢复了因硬剪枝而损失的质量，并显著降低了TTFT。

🔬 方法详解

问题定义：本文旨在解决多轮对话中多模态输入导致的首次生成令牌时间（TTFT）过长的问题。现有的查询感知硬剪枝方法虽然能减少预填令牌，但会导致后续问题所需信息的永久性缺失。

核心思路：Raincheck框架通过延迟多模态预填策略，将初始令牌选择与后续信息的可用性解耦。这样设计的目的是在解码过程中利用未使用的计算能力，逐步填充未选择的令牌，从而提高信息的利用效率。

技术框架：Raincheck的整体架构包括初始令牌选择、逐步预填和上下文更新三个主要模块。初始阶段使用现有的剪枝方法选择令牌，随后在解码过程中逐步填充未选择的令牌，并在生成开始后进行上下文更新。

关键创新：Raincheck的核心创新在于其延迟预填策略和上下文更新机制，使得在生成过程中仍能利用未选择的令牌信息。这与现有方法的本质区别在于，现有方法通常在初始选择后无法再利用未选择的信息。

关键设计：在参数设置上，Raincheck采用了30%的初始多模态令牌保留率，并通过注意力可见性控制和仿射状态映射实现上下文更新。此外，预填-解码融合技术减少了重复权重读取，提高了整体效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Raincheck在Qwen3-VL-8B和Qwen3.5-9B模型上，平均恢复了77.7%和60.4%的质量损失。特别是在MultiVerse数据集上，SGLang实现相较于全预填，首次生成TTFT减少了高达24.1%，且每个输出令牌的平均时间（TPOT）仅增加了不到0.5%。

🎯 应用场景

Raincheck框架具有广泛的应用潜力，尤其是在需要高效处理多轮对话的智能客服、虚拟助手和社交机器人等领域。通过提高信息利用效率，该框架能够显著提升用户交互体验，降低响应时间，进而推动多模态大语言模型在实际应用中的普及与发展。

📄 摘要（原文）

Multi-turn conversations with multimodal large language models (MLLMs) reuse input context, but long multimodal inputs increase time to first token (TTFT). Query-aware hard pruning reduces prefill tokens but permanently excludes information that later questions may require. We propose Raincheck, a framework for deferred multimodal prefill that decouples initial token selection from later information availability. An existing pruning method selects tokens for initial prefill; Raincheck preserves and progressively prefills unselected tokens in source order using unused compute capacity during decode. Unfinished prefill continues after answer return during available scheduling gaps. Attention visibility control and affine state mapping enable context updates after generation begins in full-attention and hybrid recurrent models. Prefill-decode fusion reduces repeated weight reads. We evaluate Qwen3-VL-8B and Qwen3.5-9B with 30% initial multimodal-token retention. Across both models and four pruning methods, Raincheck recovers on average 77.7% and 60.4% of the quality lost to matched hard pruning on MultiVerse and ConvBench, respectively. On MultiVerse, the SGLang implementation reduces mean first-turn TTFT by up to 24.1% relative to full prefill, with less than 0.5% increase in mean time per output token (TPOT).