Learning without Global Backpropagation via Synergistic Information Distillation
作者: Chenhao Ye, Ming Tang
分类: cs.LG, cs.AI
发布日期: 2025-09-27
🔗 代码/项目: GITHUB
💡 一句话要点
提出协同信息蒸馏（SID）框架，解决深度学习反向传播的扩展性瓶颈。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 协同信息蒸馏 并行训练 无反向传播 低内存消耗 深度学习 图像分类 标签噪声
📋 核心要点
- 反向传播存在更新锁定和高内存消耗问题，限制了深度学习模型的可扩展性。
- 协同信息蒸馏（SID）将深度学习重构为局部协同细化问题的级联，实现模块间的并行训练。
- 实验结果表明，SID在分类精度上与反向传播相当甚至超越，并具有更好的可扩展性和抗噪性。
📝 摘要（中文）
反向传播（BP）是深度学习的基础，但存在两个关键的可扩展性瓶颈：更新锁定（网络模块在整个反向传播完成前保持空闲）以及由于存储激活值以计算梯度而导致的高内存消耗。为了解决这些限制，我们提出了一种新颖的训练框架——协同信息蒸馏（SID），它将深度学习重新定义为一系列局部协同细化问题的级联。在SID中，深度网络被构建为模块的流水线，每个模块都被施加一个局部目标，以细化关于ground-truth目标的概率信念。该目标平衡了对目标的保真度与来自其前置模块的信念的一致性。通过解耦模块之间的反向依赖关系，SID能够实现并行训练，从而消除更新锁定并显著降低内存需求。同时，这种设计保留了标准的正向推理过程，使SID成为BP的多功能即插即用替代方案。我们提供了理论基础，证明SID保证了网络深度带来的单调性能提升。在实验上，SID始终匹配或超过BP的分类精度，表现出卓越的可扩展性和对标签噪声的显著鲁棒性。
🔬 方法详解
问题定义：传统反向传播算法在训练深度神经网络时，存在两个主要的痛点。一是更新锁定，即每个网络模块必须等待整个反向传播过程完成后才能更新参数，导致训练效率低下。二是高内存消耗，因为需要存储所有激活值以计算梯度，这在训练大型模型时会成为严重的瓶颈。
核心思路：SID的核心思想是将深度学习过程分解为一系列局部协同细化问题。每个模块不再依赖全局的反向传播信号，而是通过局部目标来优化自身，该目标结合了对真实标签的预测和来自前一个模块的信念。这种解耦的设计允许模块并行训练，从而避免了更新锁定。
技术框架：SID将深度网络构建为一个模块流水线。每个模块接收前一个模块的输出（即概率信念），并尝试细化这个信念，使其更接近真实标签。每个模块都有一个局部损失函数，该损失函数由两部分组成：一部分衡量模块的预测与真实标签之间的差异，另一部分衡量模块的预测与前一个模块的信念之间的差异。通过最小化这个局部损失函数，每个模块都能在保持与前一个模块一致性的同时，提高预测的准确性。
关键创新：SID最关键的创新在于它打破了反向传播的全局依赖性。通过引入局部目标和模块间的协同机制，SID实现了模块的并行训练，从而显著提高了训练效率并降低了内存需求。与传统的反向传播相比，SID不需要存储所有激活值，只需要存储相邻模块之间的信念传递信息。
关键设计：SID的关键设计包括局部损失函数的选择和模块间的信念传递机制。论文中使用了交叉熵损失来衡量预测与真实标签之间的差异，并使用KL散度来衡量模块间的信念一致性。此外，论文还提供了一个理论框架，证明了SID能够保证随着网络深度的增加，性能单调提升。
📊 实验亮点
SID在多个图像分类数据集上进行了评估，结果表明，在保证甚至超过反向传播精度的前提下，SID显著降低了内存消耗并实现了并行训练。例如，在ImageNet数据集上，SID的分类精度与反向传播相当，但训练速度更快，内存占用更少。此外，SID还表现出对标签噪声的鲁棒性，在存在噪声标签的情况下，SID的性能优于反向传播。
🎯 应用场景
SID具有广泛的应用前景，尤其是在需要训练大规模深度学习模型的场景中。例如，可以应用于自然语言处理、计算机视觉等领域，特别是在资源受限的环境下，SID的低内存消耗和并行训练能力使其成为一个有吸引力的选择。此外，SID的抗噪性使其在处理带有噪声标签的数据集时具有优势。
📄 摘要（原文）
Backpropagation (BP), while foundational to deep learning, imposes two critical scalability bottlenecks: update locking, where network modules remain idle until the entire backward pass completes, and high memory consumption due to storing activations for gradient computation. To address these limitations, we introduce Synergistic Information Distillation (SID), a novel training framework that reframes deep learning as a cascade of local cooperative refinement problems. In SID, a deep network is structured as a pipeline of modules, each imposed with a local objective to refine a probabilistic belief about the ground-truth target. This objective balances fidelity to the target with consistency to the belief from its preceding module. By decoupling the backward dependencies between modules, SID enables parallel training and hence eliminates update locking and drastically reduces memory requirements. Meanwhile, this design preserves the standard feed-forward inference pass, making SID a versatile drop-in replacement for BP. We provide a theoretical foundation, proving that SID guarantees monotonic performance improvement with network depth. Empirically, SID consistently matches or surpasses the classification accuracy of BP, exhibiting superior scalability and pronounced robustness to label noise.Code is available at: https://github.com/ychAlbert/sid-bp