Verification-Aware Training for Speculative Decoding
作者: Geonmo Gu, Byeongho Heo, HeeJae Jun, Yoohoon Kang, Sangmin Lee, Sangdoo Yun, Dongyoon Han
分类: cs.CL
发布日期: 2026-08-31
备注: 14 pages
🔗 代码/项目: GITHUB
💡 一句话要点
提出验证感知训练以提升推测解码效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 推测解码 验证感知训练 大型语言模型 模型推理 动态加权 性能提升 机器学习
📋 核心要点
- 现有的推测解码方法在训练过程中未能有效模拟逐步验证，导致性能不足。
- 本文提出的验证感知训练（VAT）通过在训练中引入验证机制，优化草稿模型的训练过程。
- 实验结果表明，VAT在多个基准测试中显著提高了模型的接受长度和推理速度。
📝 摘要（中文）
推测解码通过使用草稿模型生成候选标记，加速大型语言模型推理。然而，现有的草稿训练方法在每个位置的固定权重上依赖于目标模型的逐步验证，未能有效反映验证过程。为此，本文提出了验证感知训练（VAT），该框架在每个训练步骤中模拟验证，并将接受和拒绝模式转化为监督信号。VAT由两个主要组件组成：验证头和验证自适应加权。通过在EAGLE-3和DFlash上进行实验，VAT在多个基准测试中实现了平均接受长度提高11.4%和墙钟速度提升8.7%。
🔬 方法详解
问题定义：本文旨在解决现有推测解码方法在训练过程中未能有效模拟逐步验证的问题。现有方法依赖于固定的每个位置权重，未能反映验证过程的动态性，导致性能不足。
核心思路：论文提出的验证感知训练（VAT）通过在每个训练步骤中模拟验证过程，将接受和拒绝模式转化为监督信号，从而优化草稿模型的训练。这样的设计使得模型能够更好地适应实际推理中的验证过程。
技术框架：VAT框架主要由两个组件组成：验证头和验证自适应加权。验证头是一个轻量级的二分类器，负责判断每个位置是否在逐步验证中存活；验证自适应加权则根据每个样本的首次拒绝点动态调整权重。
关键创新：VAT的核心创新在于其能够在训练过程中动态模拟验证过程，区别于现有方法的固定权重设置。这种方法使得模型在训练时更贴近实际推理场景，提高了模型的适应性和性能。
关键设计：VAT的设计中，验证头的结构经过联合训练，以确保其有效性；而验证自适应加权则通过保持每个样本的首次拒绝点的全权重，重新锚定衰减过程，确保训练的灵活性和有效性。整体上，VAT仅修改训练目标，能够与现有方法无缝结合。
🖼️ 关键图片
📊 实验亮点
实验结果显示，应用VAT后，模型在EAGLE-3和DFlash基准测试中，平均接受长度提高了11.4%，墙钟速度提升了8.7%。这些结果在数学、代码和聊天基准上均表现出一致的性能提升，证明了VAT的有效性。
🎯 应用场景
该研究的潜在应用场景包括大型语言模型的推理加速，特别是在需要快速生成候选标记的任务中，如对话系统、代码生成和数学问题求解等。通过提高推理效率，VAT能够在实际应用中显著提升用户体验和系统响应速度，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Speculative decoding accelerates large language model inference by using a draft model to generate candidate tokens, which are verified by the target model in a single forward pass. Verification proceeds sequentially and discards every position from the first rejection onward, yet existing draft training relies on token-level imitation of the target with a fixed per-position weighting that reflects neither property. We introduce Verification-Aware Training (VAT), a plug-in framework that simulates verification at every training step and turns the resulting accept and reject patterns into supervision. VAT consists of two components: (i) a verification head, a lightweight jointly trained binary classifier that supervises the draft model on whether each position survives sequential verification; (ii) verification-adaptive weighting, which replaces the fixed weighting schedule by keeping full weight up to each sample's first rejection point and re-anchoring the decay to start there. VAT modifies only the training objective, so it can be layered on top of existing methods without changing the draft architecture, the target model, or the inference procedure. Applied to EAGLE-3 and DFlash on Qwen3-4B, Qwen3-8B, and LLaMA-3.1-8B, VAT improves average acceptance length by up to 11.4% and wall-clock speedup by up to 8.7%, with consistent gains across math, code, and chat benchmarks. Code will be available at https://github.com/naver-ai/vat