DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models

📄 arXiv: 2610.35201v1 📥 PDF

作者: Hongze Chen, Miao Pan, Lizhou Liang, Qinfeng Li, Xinyin Ma, Yongliang Shen, Weishi Wang, Daniel Dahlmeier, Xuhong Zhang, Wenqi Zhang

分类: cs.CL

发布日期: 2026-10-26

备注: 20 pages, 10 figures, including appendices

💡 一句话要点

提出DTCA以解决扩散语言模型中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散语言模型 强化学习 信用分配 去噪技术 数学推理 自然语言处理 模型优化

📋 核心要点

  1. 现有方法在扩散语言模型中面临信用分配的挑战，最终奖励信息不足以反映各个令牌的贡献。
  2. DTCA框架通过测量令牌承诺后剩余位置的预测置信度提升，进行令牌级信用分配，增强了模型的学习能力。
  3. 实验结果显示，DTCA在LLaDA-8B-Instruct上显著提升了数学推理性能，MATH500和GSM8K的得分分别提高了9.0和5.3分。

📝 摘要（中文）

扩散语言模型（DLMs）通过迭代去噪生成文本，支持双向上下文建模和并行令牌优化。尽管近期研究将强化学习（RL）应用于DLMs以提升推理性能，但迭代去噪过程使得信用分配变得更加复杂，因为最终结果奖励对不同令牌对最终输出的贡献提供的信息有限。本文提出了去噪令牌信用分配（DTCA）框架，用于在扩散语言模型的强化学习中进行令牌级信用分配。DTCA通过测量令牌承诺后剩余掩码位置的预测置信度提升来估计令牌贡献，并根据词性（POS）类别对这些信号进行分组。这些贡献权重用于选择信息丰富的去噪时间步，并在RL训练期间分配令牌级学习信号。DTCA还根据策略更新引起的令牌级熵变化来校准这些学习信号。实验结果表明，DTCA在不同生成预算下，数学推理性能持续提升，MATH500上提高了9.0分，GSM8K上提高了5.3分。

🔬 方法详解

问题定义：本文旨在解决扩散语言模型中令牌的信用分配问题。现有方法在迭代去噪过程中，最终的奖励信号无法有效指示各个令牌对最终输出的贡献，导致学习效率低下。

核心思路：DTCA框架通过评估令牌承诺后剩余掩码位置的预测置信度变化，来量化每个令牌的贡献，并根据词性对信号进行分组，从而实现更精确的信用分配。

技术框架：DTCA的整体架构包括令牌贡献估计、信息丰富的去噪时间步选择和令牌级学习信号分配三个主要模块。首先，模型通过计算置信度提升来评估令牌贡献；其次，基于贡献权重选择去噪时间步；最后，校准学习信号以适应策略更新带来的熵变化。

关键创新：DTCA的主要创新在于其通过词性分组的方式对令牌贡献进行细致的信用分配，这一方法与传统的全局奖励信号相比，能够提供更具针对性的学习反馈。

关键设计：在设计中，DTCA采用了基于熵变化的学习信号校准机制，确保在策略更新后，模型能够适应新的学习环境。此外，贡献权重的计算方式也经过优化，以提高模型的学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DTCA在LLaDA-8B-Instruct模型上显著提升了数学推理性能，MATH500得分提高了9.0分，GSM8K得分提高了5.3分，显示出DTCA在不同生成预算下的有效性和稳定性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和智能问答等。通过提高扩散语言模型的推理能力，DTCA能够在教育、金融和医疗等多个行业中提供更准确的智能服务，未来可能推动更复杂的语言理解和生成任务的发展。

📄 摘要（原文）

Diffusion language models (DLMs) generate text through iterative denoising, enabling bidirectional context modeling and parallel token refinement. Recent studies have applied reinforcement learning (RL) to DLMs and improved their reasoning performance. However, the iterative denoising process makes credit assignment more challenging, as final outcome rewards provide limited information about how different tokens contribute to the final output. In this paper, we propose Denoising Token Credit Assignment (DTCA), a framework for token-level credit assignment in reinforcement learning for diffusion language models. DTCA estimates token contributions by measuring the improvement in prediction confidence of remaining masked positions after token commitment and groups these signals according to part-of-speech (POS) categories. These contribution weights are used to select informative denoising timesteps and assign token-level learning signals during RL training. DTCA further calibrates these learning signals according to token-level entropy changes induced by policy updates. Experiments on LLaDA-8B-Instruct show that DTCA consistently improves mathematical reasoning performance across different generation budgets, with gains of up to 9.0 points on MATH500 and 5.3 points on GSM8K over the base model.