Improved Large Language Diffusion Models
作者: Shen Nie, Qiyang Min, Shaoxuan Xu, Zihao Huang, Yuxuan Song, Yong Shan, Yankai Lin, Wayne Xin Zhao, Chongxuan Li, Ji-Rong Wen
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-24
🔗 代码/项目: GITHUB
💡 一句话要点
提出iLLaDA以解决现有语言模型训练效率低的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 掩蔽扩散模型 双向注意力 语言模型 训练效率 自然语言处理 自动编程 基准测试
📋 核心要点
- 现有大型语言模型主要依赖自回归训练，导致生成效率低下和模型性能受限。
- 本文提出的iLLaDA模型采用完全双向注意力机制，并在训练过程中保持掩蔽扩散目标，以提高模型的生成能力和效率。
- 实验结果表明，iLLaDA在多个基准测试中显著提升性能，尤其在数学和代码生成任务上表现突出。
📝 摘要（中文）
现代大型语言模型主要采用自回归分解和因果注意力进行训练。本文提出了iLLaDA，一个从头开始训练的8B掩蔽扩散语言模型，采用完全双向注意力。iLLaDA在预训练和监督微调过程中保持掩蔽扩散目标，预训练规模达到12T个标记，并在25B标记的指令语料上进行12个周期的微调。我们还采用变长生成以提高效率，并引入基于置信度的评分用于多选评估。与LLaDA相比，iLLaDA在多个基准测试中表现出显著提升，例如在BBH上提高了21.6分，在ARC-Challenge上提高了14.9分。尽管采用非自回归训练，iLLaDA在多个基准上仍与Qwen2.5 7B保持竞争力。这些结果表明，从头开始的完全双向扩散训练是构建强大语言模型的有效路径。
🔬 方法详解
问题定义：现有的语言模型训练方法多采用自回归机制，导致生成效率低且在某些任务上性能不足。
核心思路：iLLaDA通过引入完全双向注意力和掩蔽扩散目标，旨在提升模型的生成能力和训练效率，克服传统方法的局限性。
技术框架：iLLaDA的整体架构包括预训练和监督微调两个阶段，预训练阶段使用12T个标记，微调阶段在25B标记的指令语料上进行12个周期的训练。
关键创新：iLLaDA的主要创新在于采用完全双向注意力机制和掩蔽扩散训练方法，这与传统的自回归训练方式形成鲜明对比，显著提升了模型的生成性能。
关键设计：在模型设计中，iLLaDA使用了变长生成策略以提高效率，并引入基于置信度的评分机制用于多选评估，确保模型在多种任务上的适应性和准确性。
🖼️ 关键图片
📊 实验亮点
iLLaDA在多个基准测试中表现出色，尤其在BBH上提高了21.6分，在ARC-Challenge上提高了14.9分。此外，iLLaDA-Instruct在MATH和HumanEval任务上分别提高了14.5分和16.5分，显示出其在数学和代码生成方面的显著优势。
🎯 应用场景
iLLaDA模型在自然语言处理领域具有广泛的应用潜力，特别是在对话系统、自动编程、教育辅助等场景中。其高效的生成能力和强大的性能提升为实际应用提供了新的可能性，未来可进一步推动智能助手和自动化工具的发展。
📄 摘要（原文）
Modern large language models are predominantly trained with autoregressive factorization and causal attention. We present \emph{iLLaDA}, an 8B masked diffusion language model trained from scratch with fully bidirectional attention. iLLaDA keeps the masked diffusion objective throughout pre-training and supervised fine-tuning (SFT), scaling pre-training to 12T tokens and fine-tuning on a 25B-token instruction corpus for 12 epochs. We further use variable-length generation for efficiency and introduce confidence-based scoring for multiple-choice evaluation. Compared with LLaDA, iLLaDA improves broadly across general, mathematical, and code benchmarks; for example, iLLaDA-Base improves by 21.6 points on BBH and 14.9 points on ARC-Challenge, while iLLaDA-Instruct improves by 14.5 points on MATH and 16.5 points on HumanEval. Despite its non-autoregressive training, iLLaDA also remains competitive with Qwen2.5 7B on several benchmarks. These results show that fully bidirectional diffusion training from scratch is a competitive path toward strong language models. Model weights and codes: https://github.com/ML-GSAI/LLaDA.