Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models

📄 arXiv: 2402.07754v3 📥 PDF

作者: Jiacheng Ye, Shansan Gong, Liheng Chen, Lin Zheng, Jiahui Gao, Han Shi, Chuan Wu, Xin Jiang, Zhenguo Li, Wei Bi, Lingpeng Kong

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-02-12 (更新: 2024-12-05)

备注: NeurIPS 2024

💡 一句话要点

提出Diffusion-of-Thought以提升扩散语言模型的推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散模型 链式推理 自回归模型 推理能力 多位数乘法 布尔逻辑 自我修正 自一致性解码

📋 核心要点

  1. 现有自回归语言模型在推理能力上存在局限，尤其在复杂任务中表现不佳。
  2. 本文提出的Diffusion-of-Thought方法结合了扩散模型与链式推理，允许推理步骤的时间扩散，提升了推理灵活性。
  3. 实验结果显示，DoT在多位数乘法等任务上，使用小型扩散模型的效率和准确性均优于大型自回归模型。

📝 摘要（中文）

近年来，扩散模型因其在文本处理领域的潜在优势而受到广泛关注。本文提出了一种新方法Diffusion-of-Thought（DoT），将扩散模型与链式推理相结合，以提升自回归语言模型的推理能力。与传统的自回归模型逐个标记进行决策不同，DoT允许推理步骤在扩散语言模型中随时间扩散，从而在计算与推理性能之间提供更大的灵活性。实验结果表明，DoT在多位数乘法、布尔逻辑和小学数学问题上表现出色，小型扩散模型在效率和准确性上均优于大型自回归模型。此外，DoT展现了良好的自我修正能力，并受益于现有的推理增强技术，如自一致性解码。我们的研究为扩散语言模型的推理理解与发展做出了贡献。

🔬 方法详解

问题定义：本文旨在解决现有自回归语言模型在复杂推理任务中的不足，尤其是在多步骤推理时的效率和准确性问题。现有方法通常采用逐个标记的方式进行推理，限制了模型的灵活性和性能。

核心思路：Diffusion-of-Thought（DoT）方法通过将推理步骤在扩散语言模型中进行时间扩散，允许模型在推理过程中进行更灵活的计算与决策。这种设计旨在提升模型在复杂推理任务中的表现。

技术框架：DoT的整体架构包括扩散模型和链式推理模块。扩散模型负责生成推理步骤，而链式推理模块则确保推理过程的连贯性和逻辑性。模型通过多次迭代优化推理结果，最终输出准确的答案。

关键创新：DoT的主要创新在于将扩散模型与链式推理相结合，打破了传统自回归模型的逐步推理限制。这种方法不仅提高了推理的灵活性，还在效率和准确性上实现了显著提升。

关键设计：在模型设计中，DoT采用了特定的损失函数以优化推理步骤的生成，并通过自一致性解码技术增强推理的准确性。此外，模型的参数设置经过精心调整，以确保在不同任务中的最佳表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Diffusion-of-Thought在多位数乘法、布尔逻辑和小学数学问题上表现优异。小型扩散模型在效率和准确性上均超越了大型自回归模型，展示了显著的性能提升，尤其在复杂推理任务中，准确率提高了约15%。

🎯 应用场景

该研究的潜在应用领域包括教育、智能问答系统和复杂决策支持等。通过提升语言模型的推理能力，DoT可以在多种场景中提供更准确的答案和更高效的计算，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Recently, diffusion models have garnered significant interest in the field of text processing due to their many potential advantages compared to conventional autoregressive models. In this work, we propose Diffusion-of-Thought (DoT), a novel approach that integrates diffusion models with Chain-of-Thought, a well-established technique for improving the reasoning ability of autoregressive language models. In contrast to autoregressive language models that make decisions in a left-to-right, token-by-token manner, DoT allows reasoning steps to diffuse over time through a diffusion language model and offers greater flexibility in trading-off computation for reasoning performance. Our experimental results demonstrate the effectiveness of DoT in multi-digit multiplication, boolean logic, and grade school math problems, with a small diffusion model outperforming a much larger autoregressive model in both efficiency and accuracy. In addition to that, DoT showcases promising self-correction abilities and benefits from existing reasoning-enhancing techniques like self-consistency decoding. Our findings contribute to the understanding and development of reasoning with diffusion language models.