LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

📄 arXiv: 2606.16908v1 📥 PDF

作者: Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

分类: cs.CL

发布日期: 2026-06-15

💡 一句话要点

提出LESS以解决扩散语言模型采样效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散语言模型 自适应采样 互稳定采样 模型无关 在线停止机制

📋 核心要点

  1. 现有的扩散语言模型在采样过程中存在固定反向去噪步骤的效率问题，导致计算资源浪费。
  2. LESS是一种自适应采样器，通过在线停止机制和互稳定采样策略优化令牌承诺过程。
  3. 在多个基准测试中，LESS在准确性上超越了强大的自适应采样器，同时显著减少了反向步骤的数量。

📝 摘要（中文）

扩散大型语言模型（dLLMs）通过迭代精炼掩码序列，提供了自回归解码的替代方案。然而，现有的采样程序在固定的反向去噪步骤上效率有限，导致在稳定位置上浪费计算资源。本文提出了LESS，一种无训练、模型无关的自适应采样器，将令牌承诺视为在线停止问题。LESS通过联合稳定性规则实现互稳定采样，使得掩码位置仅在其顶级预测具有高置信度、在最近的反向步骤中持续存在且预测分布在顶K的交叉熵散度下稳定时才有资格解掩。实验表明，LESS在多个基准测试中显著提高了准确性，同时比固定预算解码减少了72.1%的反向步骤。

🔬 方法详解

问题定义：现有的扩散语言模型在采样时采用固定数量的反向去噪步骤，导致在稳定位置上浪费计算资源，并可能过早承诺不稳定位置。

核心思路：LESS通过将令牌承诺视为在线停止问题，采用互稳定采样策略，确保只有在高置信度和稳定性条件下才解掩码位置。

技术框架：LESS的整体架构包括三个主要模块：1) 令牌预测模块，评估每个掩码位置的顶级预测；2) 稳定性评估模块，计算预测分布的稳定性；3) 停止机制，决定何时解掩码。

关键创新：LESS的创新在于其联合稳定性规则，使得掩码位置的解掩码决策基于多重稳定性标准，而非单一的置信度阈值。

关键设计：LESS在设计上不依赖于训练过程，采用了基于Jensen-Shannon散度的稳定性评估方法，确保了采样过程的高效性与准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LESS在多个基准测试中表现出色，相较于强大的自适应采样器，准确性显著提升，同时减少了72.1%的反向步骤。这一结果表明LESS在计算效率和模型性能之间取得了良好的平衡。

🎯 应用场景

LESS的研究成果在自然语言处理、代码生成和数学推理等领域具有广泛的应用潜力。通过提高采样效率和准确性，LESS可以帮助开发更高效的语言模型，推动智能助手、自动编程和教育技术等应用的发展。

📄 摘要（原文）

Diffusion large language models (dLLMs) offer a promising alternative to autoregressive decoding by iteratively refining masked sequences, enabling parallel token updates and bidirectional conditioning. Their practical efficiency, however, is limited by sampling procedures that execute a fixed number of reverse denoising steps selected before decoding, spending computation on already-stable positions and sometimes committing unstable ones too early. We present \textsc{LESS}, a training-free, model-agnostic adaptive sampler that treats token commitment as an online stopping problem. \textsc{LESS} implements mutual-stability sampling through a joint stability rule that makes a masked position eligible for unmasking only when its top-1 prediction has high confidence, its top-1 token persists across recent reverse steps, and its predictive distribution is stable under top-$K$ inter-step Jensen--Shannon divergence. We evaluate \textsc{LESS} on Dream-7B, LLaDA-8B, and LLaDA-1.5-8B, covering full-sequence diffusion and semi-autoregressive blockwise sampling regimes, across seven benchmarks spanning general knowledge, math, and code. \textsc{LESS} improves average accuracy over strong training-free adaptive samplers while using $72.1\%$ fewer reverse steps than fixed-budget decoding. Since each reverse step requires a Transformer forward pass, these step-count reductions translate into fewer forward evaluations, lower measured wall-clock latency, and lower estimated inference compute.