ResiSpec: Enhancing Multi-Candidate Speculative Sampling via Residual Distribution Shaping

📄 arXiv: 2608.24411v1 📥 PDF

作者: Zhi-Kai Chen, Jun-Jie Tao, Wei-Xiang Mao, De-Chuan Zhan, Han-Jia Ye

分类: cs.AI

发布日期: 2026-08-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出ResiSpec以解决多候选推测采样中的残差漂移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 多候选采样 残差漂移 大型语言模型 效率提升

📋 核心要点

  1. 现有的多候选推测采样方法受到残差漂移的影响，导致候选标记的有效性降低，增加了重新采样的成本。
  2. ResiSpec框架通过在验证阶段重塑提议分布，确保残差目标质量保持在草稿模型的高置信区域，从而提高了采样效率。
  3. 实验结果表明，ResiSpec在速度上比现有的多候选方法提升了1.92倍，显著提高了推测解码的效率。

📝 摘要（中文）

大型语言模型（LLM）的服务效率受到自回归解码的顺序性质限制。推测解码（SD）通过使用轻量级草稿模型来推测未来的标记，从而缓解这一问题。为进一步提高效率，多候选方案提出多样化的候选集以增加标记接受的可能性。然而，我们发现这些方案受到残差漂移的瓶颈影响，即初始候选的拒绝导致残差目标分布与草稿模型的预测偏离。为了解决这一问题，我们提出了ResiSpec框架，通过在验证过程中战略性地重塑提议分布，将残差目标质量锚定在草稿模型的高置信区内。ResiSpec在不妥协输出准确性的情况下，重新对齐验证过程，防止候选过时，并实现了比最先进的多候选方法快1.92倍的速度提升。

🔬 方法详解

问题定义：论文要解决的问题是多候选推测采样中的残差漂移现象，这种现象导致初始候选的拒绝使得后续候选的有效性降低，进而增加了系统的重新采样成本。

核心思路：论文提出的核心思路是通过在验证过程中重塑提议分布，确保残差目标质量锚定在草稿模型的高置信区域，从而避免候选的过时和无效。

技术框架：ResiSpec框架主要包括两个阶段：第一阶段是使用草稿模型生成候选标记，第二阶段是通过重塑提议分布进行验证，确保候选标记的有效性。

关键创新：ResiSpec的关键创新在于其通过数学方法重新对齐验证过程，避免了候选标记的过时问题，并在保持输出准确性的同时显著提升了效率。

关键设计：在设计中，ResiSpec采用了特定的损失函数和参数设置，以确保提议分布的重塑能够有效地锚定在高置信区域，具体的网络结构和参数设置在论文中详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，ResiSpec在多候选推测采样中实现了高达1.92倍的速度提升，相较于最先进的多候选方法，显著提高了推测解码的效率，展示了其在实际应用中的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等场景，能够显著提高大型语言模型在实时应用中的响应速度和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

The efficiency of Large Language Model (LLM) serving is fundamentally limited by the sequential nature of autoregressive decoding. Speculative Decoding (SD) mitigates this by using a lightweight draft model to speculate future tokens, which are then validated by the LLM in a single parallel forward pass. To further boost efficiency, multi-candidate schemes propose diverse candidate sets to increase the likelihood of token acceptance. However, we show that these schemes are bottlenecked by Residual Drift: a phenomenon where the rejection of initial candidates causes the residual target distribution to diverge from the draft model's predictions. This shift renders subsequent candidates ineffective and forces the system into expensive resampling. To resolve this, we propose ResiSpec, a framework that strategically reforms the proposal distribution during verification to anchor the residual target mass within the draft model's high-confidence regions. By mathematically re-aligning the verification process without compromising output exactness, ResiSpec prevents candidate obsolescence and achieves up to 1.92$\times$ speedup over state-of-the-art multi-candidate methods. Code is available at https://github.com/Czzzk/Resispec.