Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks

📄 arXiv: 2606.31700v1 📥 PDF

作者: Yutaro Yamada, Luca Grillotti, Rujikorn Charakorn, Sebastian Risi, David Ha, Robert Tjarko Lange

分类: cs.LG, cs.NE

发布日期: 2026-06-30

备注: ALIFE2026

💡 一句话要点

提出模态误差路由以解决生物学可行的双流网络中的信用分配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生物启发网络 信用分配 模态误差路由 强化学习 双流网络 深度学习 表示学习

📋 核心要点

  1. 现有方法在遵循戴尔原则的情况下，难以在复杂任务上实现强性能，尤其是在CIFAR-10等数据集上。
  2. 论文提出模态误差路由，扩展了误差扩散方法，使其能够在多种任务中有效进行信用分配。
  3. 实验结果表明，使用该方法的双流网络在MNIST和CIFAR-10上均取得了显著的性能提升，且在强化学习任务中表现出色。

📝 摘要（中文）

生物神经电路遵循戴尔原则，每个神经元的突触要么是兴奋性的，要么是抑制性的。遵循这一约束的人工网络必须协调独立的兴奋性和抑制性群体，从而根本改变学习过程中的信用分配方式。本文提出的模态误差路由扩展了原有的误差扩散方法，使其能够在监督分类和强化学习中表现出色。通过在MNIST上达到96.7%的准确率和在CIFAR-10上建立61.7%的基线，证明了在严格遵循戴尔原则的情况下，表示学习是可行的。我们还在强化学习中将误差扩散与近端策略优化相结合，展示了其在连续控制任务中的竞争性能。

🔬 方法详解

问题定义：本文旨在解决在遵循戴尔原则的生物学可行网络中，如何有效地进行信用分配的问题。现有方法在复杂任务上表现不佳，尤其是超越MNIST的数据集。

核心思路：论文提出的模态误差路由方法，通过不依赖反向传播的权重传输，利用全局误差信号驱动学习，从而实现有效的信用分配。

技术框架：整体架构为双流兴奋性/抑制性网络，主要模块包括模态误差路由、层特定的sigmoid宽度、批中心类误差信号和不对称初始化等。

关键创新：最重要的技术创新在于模态误差路由的引入，使得网络能够在严格遵循戴尔原则的情况下，进行有效的表示学习。与现有方法相比，该方法避免了反向传播的权重传输问题。

关键设计：关键参数设置包括层特定的sigmoid宽度和批中心类误差信号的设计，损失函数采用了适应性调整，网络结构则通过不对称初始化来优化学习过程。实验分析表明，这些设计在不同任务中表现出不同的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用模态误差路由的双流网络在MNIST上达到了96.7%的准确率，并在CIFAR-10上建立了61.7%的基线。此外，在强化学习任务中，该方法与直接反馈对齐相比，表现出竞争力的性能，展示了其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括生物启发的人工智能系统、机器人控制以及复杂决策任务。通过在严格的生物学原则下实现有效学习，未来可能推动更智能的自适应系统的发展，提升其在真实世界中的应用能力。

📄 摘要（原文）

Biological neural circuits obey Dale's principle: each neuron's synapses are uniformly excitatory or inhibitory. Artificial networks that respect this constraint must coordinate separate excitatory and inhibitory populations, fundamentally changing how credit is assigned during learning. Several biologically plausible learning rules avoid backpropagation's weight transport requirement, but it has been difficult to achieve strong performance under Dale's principle beyond MNIST. Error Diffusion (ED) was originally proposed in a dual-stream excitatory/inhibitory architecture, where learning is driven by routing global error signals to all layers without transporting transposed forward weights or relying on random feedback matrices. Whether such a rule can scale under Dale's principle across both supervised classification and reinforcement learning remains unknown. Here, we introduce modulo error routing to extend Error Diffusion beyond binary classification, and show that a dual-stream excitatory/inhibitory architecture trained with this method achieves 96.7% on MNIST and establishes a 61.7% baseline on CIFAR-10, demonstrating that representation learning is possible even when strictly enforcing Dale's principle. For the classification setting, we introduce three domain-specific innovations: layer-specific sigmoid widths, batch-centered class error signals, and asymmetric initialization, and ablation analysis reveals that their relative importance reverses between MNIST and CIFAR-10, exposing task-dependent credit-assignment bottlenecks invisible to single-benchmark evaluation. In reinforcement learning, we integrate ED with Proximal Policy Optimization (PPO) and evaluate it on continuous-control tasks in Google Brax and on Craftax, an open-ended exploration task. We show that ED-PPO achieves competitive performance relative to Direct Feedback Alignment, a backpropagation-free baseline.