Bifocal Diffusion Language Models: Asymmetric Bidirectional Context for Parallel Generation
作者: Yuhang Chen, Xianfeng Wu, Jinhao Duan, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Parish Aggarwal, Frank Shyu, Luke Simon, Sandeep Pandey, Xi Liu, Tianlong Chen
分类: cs.IR, cs.AI, cs.LG
发布日期: 2026-06-26
💡 一句话要点
提出Bifocal dLLMs以解决生成质量与推理效率的矛盾问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离散扩散语言模型 双向上下文 因果注意力 生成质量 推理效率 并行解码 自然语言处理 机器学习
📋 核心要点
- 现有的离散扩散语言模型在生成质量与推理效率之间存在矛盾，双向注意力与因果注意力各有局限。
- 本文提出了一种新型的Bifocal dLLMs，通过不对称双向上下文的方式，结合因果注意力与轻量级的反向上下文机制。
- 实验结果显示，R2LM在吞吐量上比双向dLLMs提升了2.4倍至12.9倍，且在大多数基准测试中超越了因果模型。
📝 摘要（中文）
离散扩散语言模型（dLLMs）能够并行恢复被遮蔽的标记，显著提高生成速度。然而，现有方法面临架构设计的两难选择：双向注意力虽然提升生成质量，但不兼容KV缓存，限制了推理吞吐量；而因果注意力则支持高效缓存推理，但丧失右侧上下文，影响生成质量。本文提出Bifocal dLLMs，通过不对称双向上下文的方式解决了这一矛盾，具体实现为R2LM（从右到左的Mamba），结合了标准因果注意力和轻量级的反向Mamba SSM侧车，提供了高效的并行解码能力。实验结果表明，R2LM在批量服务中实现了2.4倍至12.9倍的吞吐量提升，且在大多数基准测试中超越了因果基线。
🔬 方法详解
问题定义：本文要解决的具体问题是如何在保持生成质量的同时，提高离散扩散语言模型的推理效率。现有的双向注意力虽然生成质量高，但不支持KV缓存，因而在批量服务时吞吐量低；而因果注意力则支持高效推理，但丧失了右侧上下文，影响生成效果。
核心思路：论文的核心思路是引入不对称双向上下文，通过结合标准因果注意力和轻量级的反向Mamba SSM侧车，来同时兼顾生成质量与推理效率。这样的设计使得模型能够在保持上下文完整性的同时，支持高效的缓存推理。
技术框架：整体架构包括两个主要模块：标准因果注意力模块，提供精确的左侧上下文并兼容KV缓存；轻量级的反向Mamba SSM侧车，提供压缩的右侧上下文，确保不破坏缓存能力。
关键创新：最重要的技术创新点在于不对称双向上下文的引入，使得模型能够在高效推理的同时，保持较高的生成质量。这一设计与传统的双向或因果注意力方法有本质区别。
关键设计：在参数设置上，模型采用了标准的因果注意力机制，并通过反向Mamba SSM侧车实现右侧上下文的压缩，确保在推理时的高效性和生成质量的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果显示，R2LM在批量服务中实现了2.4倍至12.9倍的吞吐量提升，相较于传统双向dLLMs和因果基线，在生成质量上也表现优异，展示了其在实际应用中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及机器翻译等。通过提高生成效率和质量，Bifocal dLLMs能够在实际应用中显著提升用户体验，推动智能对话和内容生成技术的发展。
📄 摘要（原文）
Discrete diffusion language models (dLLMs) recover masked tokens in parallel, offering significant speedups over autoregressive (AR) generation. However, such promising frameworks face a fundamental architectural design dilemma: \ding{182} Adopting bidirectional attention achieves strong generation quality by allowing each position to access the full context, but is inherently incompatible with KV caching, limiting inference throughput in batch-serving scenarios; \ding{183} Conversely, causal attention enables efficient cached inference but loses all right-side context, substantially degrading generation quality. This paper introduces Bifocal dLLMs, a new paradigm that resolves this dilemma through \emph{asymmetric bidirectional context}. Analogous to bifocal lenses, we instantiate the paradigm as \textbf{R2LM} (Right-to-Left Mamba), which combines two complementary mechanisms: $a$) standard causal attention providing precise left-context with full KV cache compatibility, while $b$) a lightweight reverse Mamba SSM sidecar supplying compressed right-side context without breaking cacheability. Comprehensive experiments on continued pretraining of Qwen3-1.7B with 60B tokens demonstrate that R2LM achieves $2.4\times$ to $12.9\times$ higher throughput than bidirectional dLLMs and $1.9\times$ to $2.9\times$ speedup over AR baselines in batch serving through parallel decoding with KV caching, while exceeding the causal baseline on most benchmarks and surpassing the bidirectional dLLM on average.