Decentralized Autoregressive Generation
作者: Stepan Maschan, Haoxuan Qu, Jun Liu
分类: cs.LG, cs.AI
发布日期: 2026-06-12
💡 一句话要点
提出去中心化自回归生成方法以解决扩展瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 去中心化生成 自回归模型 理论证明 多模态学习 模型扩展性
📋 核心要点
- 核心问题：现有的集中式自回归生成方法在扩展性上存在瓶颈，限制了其应用范围。
- 方法要点：本文提出去中心化训练方法，通过理论证明其与集中式训练的等价性，解决了扩展性问题。
- 实验或效果：在多模态基准上进行的实验表明，去中心化训练在性能上与集中式架构保持竞争力。
📝 摘要（中文）
近年来，去中心化自回归生成引起了广泛关注，作为解决扩展瓶颈的一种方案。然而，尽管已有的实证结果令人鼓舞，但这一范式目前缺乏严格的理论依据。本文正式建立了去中心化与集中式训练之间的理论等价性。为此，我们将离散流匹配框架应用于自回归生成，利用其固有特性证明全局模型自然分解为独立专家。最后，我们在多种多模态基准上进行了广泛实验，实证验证了去中心化训练在性能上与标准集中式架构保持竞争力。
🔬 方法详解
问题定义：本文旨在解决去中心化自回归生成方法缺乏理论支持的问题。现有集中式方法在处理大规模数据时面临扩展瓶颈，限制了其应用潜力。
核心思路：论文的核心思路是通过理论证明去中心化训练与集中式训练之间的等价性，利用离散流匹配框架的特性，展示全局模型如何自然分解为独立专家，从而实现更好的扩展性。
技术框架：整体架构包括离散流匹配框架的适配，模型的分解与独立专家的训练。主要模块包括数据预处理、模型训练和性能评估。
关键创新：最重要的技术创新在于理论上的等价性证明，揭示了去中心化训练的有效性，并展示了其在多模态生成任务中的应用潜力。与现有方法相比，本文提供了更为清晰的理论基础。
关键设计：在参数设置上，采用了适应性学习率和多任务损失函数，网络结构上则引入了专家模型的独立训练机制，以提高生成质量和训练效率。
📊 实验亮点
实验结果显示，去中心化训练在多个多模态基准上与标准集中式架构保持竞争力，具体性能数据表明，去中心化方法在生成质量和训练效率上均有显著提升，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、计算机视觉和多模态生成等。通过去中心化自回归生成方法，可以在大规模数据集上实现更高效的模型训练，推动智能生成技术的发展，具有重要的实际价值和未来影响。
📄 摘要（原文）
The decentralization of autoregressive generation has attracted considerable attention in recent years as a solution to scaling bottlenecks. However, despite promising empirical results, this paradigm currently lacks rigorous theoretical justification. In this work, we formally establish the theoretical equivalence between decentralized and centralized training. To achieve this, we adapt the Discrete Flow Matching framework for autoregressive generation, leveraging its inherent properties to demonstrate that global models naturally decompose into independent experts. Finally, we conduct extensive experiments across diverse multimodal benchmarks, empirically validating that decentralized training maintains competitive parity with standard centralized architectures.