Variational Inference, Entropy, and Orthogonality: A Unified Theory of Mixture-of-Experts

📄 arXiv: 2601.03577v1 📥 PDF

作者: Ye Su, Yong Liu

分类: cs.LG

发布日期: 2026-01-07

备注: 27 pages, 3 figures

💡 一句话要点

从贝叶斯和信息论视角统一MoE理论，并提出正交正则化缓解路由难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家模型 路由算法 变分推断 信息论 正交正则化 稀疏后验近似 大型语言模型 NP-hard问题

📋 核心要点

  1. MoE模型依赖启发式Top-k路由和负载均衡，缺乏坚实的理论基础支撑。
  2. 论文从贝叶斯和信息论视角，将Top-k路由视为稀疏后验近似和信道容量最大化。
  3. 研究揭示了专家表示的相干性障碍，并验证了正交正则化能有效缓解路由难题。

📝 摘要（中文）

混合专家模型(MoE)通过仅激活每个输入的专家子集，从而高效地扩展大型语言模型。然而，其核心机制，如Top-k路由和辅助负载均衡，仍然是启发式的，缺乏一个有凝聚力的理论基础来支持它们。为此，我们构建了第一个统一的理论框架，从贝叶斯角度严格地将这些实践推导为最优稀疏后验近似和先验正则化，同时从信息论角度将它们构建为最小化路由模糊性和最大化信道容量的机制。我们还精确地指出了路由固有的组合硬度，将其定义为NP-hard的稀疏子集选择问题。我们严格证明了“相干性障碍”的存在；当专家表示表现出高度互相关性时，贪婪路由策略在理论上无法恢复最优专家子集。重要的是，我们正式验证了在专家特征空间中施加几何正交性足以缩小NP-hard全局最优解和多项式时间贪婪近似之间的差距。我们的比较分析证实了正交正则化是大型模型的最佳工程松弛。我们的工作为更深入地理解和MoE的新颖设计提供了重要的理论支持和技术保证。

🔬 方法详解

问题定义：混合专家模型（MoE）旨在通过只激活部分专家来处理每个输入，从而提高模型效率。然而，Top-k路由和辅助负载均衡等关键机制缺乏坚实的理论基础，导致其设计和优化依赖于启发式方法。现有方法难以保证路由选择的最优性，并且在高专家互相关性情况下性能下降。

核心思路：论文的核心思路是从贝叶斯推断和信息论的角度，为MoE模型提供一个统一的理论框架。通过将Top-k路由解释为稀疏后验近似和信道容量最大化，从而为这些机制提供了理论依据。此外，论文还研究了专家表示的互相关性对路由性能的影响，并提出了正交正则化作为一种有效的解决方案。

技术框架：该研究构建了一个理论框架，将MoE模型的路由选择问题形式化为贝叶斯推断问题，并推导出最优的稀疏后验分布。同时，该框架还从信息论的角度分析了路由选择的模糊性和信道容量。研究还证明了路由选择问题是NP-hard的，并提出了正交正则化来缓解路由难题。整体框架包含以下几个关键部分：贝叶斯推断建模、信息论分析、NP-hard问题证明和正交正则化方法。

关键创新：该论文最重要的技术创新在于：1) 提出了一个统一的理论框架，从贝叶斯和信息论的角度解释了MoE模型的关键机制；2) 揭示了专家表示的相干性障碍，并证明了在高互相关性情况下，贪婪路由策略会失效；3) 提出了正交正则化方法，有效地缓解了路由难题，并缩小了NP-hard全局最优解和多项式时间贪婪近似之间的差距。

关键设计：论文的关键设计包括：1) 将Top-k路由视为稀疏后验近似，并使用变分推断来优化路由选择；2) 从信息论的角度，将路由选择视为最大化信道容量的问题，并使用互信息来衡量路由的有效性；3) 引入正交正则化项，鼓励专家表示之间的正交性，从而降低互相关性，提高路由性能。具体实现中，可以通过在损失函数中添加一个惩罚项来实现正交正则化，该惩罚项衡量专家表示之间的相关性。

📊 实验亮点

研究通过实验验证了正交正则化的有效性，证明其可以显著提高MoE模型的性能。具体而言，正交正则化能够缩小NP-hard全局最优解和多项式时间贪婪近似之间的差距，使得贪婪路由策略能够更接近最优解。实验结果表明，在大型语言模型上应用正交正则化可以获得显著的性能提升，并且能够降低计算成本。

🎯 应用场景

该研究成果可应用于大规模语言模型的训练和部署，尤其是在资源受限的环境下。通过正交正则化，可以提高MoE模型的路由效率和性能，从而降低计算成本和延迟。此外，该理论框架还可以指导新型MoE模型的设计和优化，例如，可以设计更有效的路由策略和专家表示方法。

📄 摘要（原文）

Mixture-of-Experts models enable large language models to scale efficiently, as they only activate a subset of experts for each input. Their core mechanisms, Top-k routing and auxiliary load balancing, remain heuristic, however, lacking a cohesive theoretical underpinning to support them. To this end, we build the first unified theoretical framework that rigorously derives these practices as optimal sparse posterior approximation and prior regularization from a Bayesian perspective, while simultaneously framing them as mechanisms to minimize routing ambiguity and maximize channel capacity from an information-theoretic perspective. We also pinpoint the inherent combinatorial hardness of routing, defining it as the NP-hard sparse subset selection problem. We rigorously prove the existence of a "Coherence Barrier"; when expert representations exhibit high mutual coherence, greedy routing strategies theoretically fail to recover the optimal expert subset. Importantly, we formally verify that imposing geometric orthogonality in the expert feature space is sufficient to narrow the divide between the NP-hard global optimum and polynomial-time greedy approximation. Our comparative analyses confirm orthogonality regularization as the optimal engineering relaxation for large-scale models. Our work offers essential theoretical support and technical assurance for a deeper understanding and novel designs of MoE.