Dimensionality Controls When Modularity Helps in Continual Learning
作者: Kathrin Korte, Christian Medeiros Adriano, Joachim Winther Pedersen, Eleni Nisioti, Sebastian Risi
分类: cs.LG, cs.AI, cs.NE
发布日期: 2026-06-16
备注: Accepted to the 2nd Workshop on Compositional Learning (CompLearn) at ICML 2026, Seoul, South Korea. 8 pages, 5 figures
💡 一句话要点
提出模块化架构以提升持续学习中的表现与稳定性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 持续学习 模块化网络 组合学习 表示维度 任务相似性
📋 核心要点
- 现有的组合学习系统在任务相似性和干扰风险下，难以平衡知识的获取与保持。
- 论文提出通过模块化架构和表示维度的调控，优化持续学习中的知识表示与任务适应性。
- 实验结果显示，在低维环境中，模块化网络的任务特定子空间组织显著优于单网络，提升了学习效果。
📝 摘要（中文）
组合学习系统必须在获取新知识的可塑性与保持已学知识的稳定性之间取得平衡，尤其是在任务共享结构并存在干扰风险时。本文研究了模块化架构、任务相似性和表示维度如何共同影响顺序A-B-A范式中的组合持续学习。通过对比任务分区的递归网络与单网络基线，并通过权重规模操控引入高维和低维环境，发现高维“懒惰”环境下两种架构表现相似，而在低维“丰富”环境中，模块化网络展现出更优的任务特定子空间组织，提升了组合性和可解释性。这些发现表明初始化规模引导的表示维度是影响模块化结构在持续学习中功能性益处的关键因素。
🔬 方法详解
问题定义：本文旨在解决组合学习系统在任务相似性和干扰风险下的可塑性与稳定性平衡问题。现有方法在处理相似任务时容易导致知识干扰，影响学习效果。
核心思路：通过引入模块化架构与表示维度的调控，论文探索了如何在不同的表示环境中优化持续学习的表现。模块化结构能够在任务相似性较高时有效利用共享信息，同时保持任务特定的知识表示。
技术框架：研究采用顺序A-B-A范式，比较任务分区的递归网络与单网络基线。通过权重规模操控，创建高维和低维两种表示环境，分析不同架构在这两种环境下的表现。
关键创新：论文的主要创新在于揭示了表示维度与模块化结构之间的关系，指出在低维环境中，模块化网络能够形成更为有效的任务特定子空间，从而提升学习的组合性与可解释性。
关键设计：在实验中，采用了不同的权重规模设置以调控表示维度，设计了特定的损失函数以优化任务特定子空间的学习，确保模块化网络能够有效分离和共享知识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在低维“丰富”环境中，模块化网络的任务特定子空间组织显著优于单网络，表现出更高的组合性和可解释性。具体而言，模块化网络在相似任务上实现了更好的知识共享和干扰管理，提升了学习效果。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、智能助手和自适应系统等，能够帮助这些系统在面对新任务时更有效地学习和适应，同时保持对已学知识的稳定性。未来，模块化学习架构可能在多任务学习和迁移学习中发挥更大作用，推动智能系统的自主学习能力。
📄 摘要（原文）
Compositional learning systems must balance plasticity, the ability to acquire new knowledge, with stability, the preservation of previously learned components, especially when tasks share structure and risk interference. We study how modular architecture, task similarity, and representational dimensionality jointly shape compositional continual learning in a sequential A-B-A paradigm, comparing a task-partitioned recurrent network to a single-network baseline while inducing high- and low-dimensional regimes via weight-scale manipulations. In a high-dimensional "lazy" regime, both architectures achieve similar performance and internal geometry, suggesting that explicit modular structure has little impact when representations are weakly constrained. In a lower-dimensional "rich" regime, modularity becomes decisive: the modular network develops graded task-specific subspaces that overlap for similar tasks, partially align for moderately dissimilar tasks, and separate for dissimilar tasks, yielding a more compositional and interpretable organization than the single network. These findings identify the representational regime induced by initialization scale, which co-varies with representational dimensionality, as a key factor governing when compositional, modular structure is functionally beneficial in continual learning, and support viewing safety and robustness as problems of adaptive allocation of representational subspaces rather than fixed separation versus sharing.