Improved Generalization of Weight Space Networks via Augmentations

📄 arXiv: 2402.04081v2 📥 PDF

作者: Aviv Shamsian, Aviv Navon, David W. Zhang, Yan Zhang, Ethan Fetaya, Gal Chechik, Haggai Maron

分类: cs.LG, cs.AI

发布日期: 2024-02-06 (更新: 2024-11-09)

备注: Under Review

💡 一句话要点

提出数据增强方法以解决深权重空间网络的过拟合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深权重空间 数据增强 MixUp 过拟合 自监督学习 计算机视觉 神经网络

📋 核心要点

  1. 现有的深权重空间模型在训练过程中容易出现过拟合，主要由于数据集缺乏多样性。
  2. 论文提出了一种针对权重空间的数据增强策略，特别是改进的MixUp方法，以增加训练数据的多样性。
  3. 实验结果表明，所提方法在分类任务中性能提升相当于增加10倍数据量，并在自监督学习中实现5-10%的增益。

📝 摘要（中文）

深权重空间（DWS）学习是一个新兴的研究方向，涉及神经网络处理其他神经网络的权重。尽管DWS在2D和3D神经场（如INRs和NeRFs）中具有应用潜力，但其模型常常面临严重的过拟合问题。研究发现，DWS数据集缺乏多样性是导致过拟合的关键原因。为此，论文提出了一种适用于权重空间的MixUp数据增强方法，并在分类和自监督对比学习任务中验证了其有效性，显示出相当于增加10倍数据量的性能提升，以及在下游分类任务中5-10%的显著增益。

🔬 方法详解

问题定义：论文旨在解决深权重空间网络（DWS）中的过拟合问题，现有方法由于数据集缺乏多样性，导致模型泛化能力不足。

核心思路：提出了一种适用于权重空间的数据增强方法，特别是MixUp技术，以增加训练样本的多样性，从而提高模型的泛化能力。

技术框架：整体框架包括数据预处理、MixUp增强生成、模型训练三个主要阶段。首先对权重空间数据进行预处理，然后应用MixUp生成新的训练样本，最后使用增强后的数据进行模型训练。

关键创新：最重要的创新在于将MixUp方法适配到权重空间中，解决了传统数据增强方法无法直接应用于DWS的问题，显著提高了模型的泛化能力。

关键设计：在MixUp过程中，设计了特定的权重插值策略，并调整了损失函数以适应新的数据分布，确保模型在训练过程中能够有效利用增强样本。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的MixUp方法在分类任务中提升了模型性能，相当于增加了10倍的数据量。在自监督对比学习中，模型在下游分类任务中实现了5-10%的显著增益，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、机器人技术和生成模型等，尤其是在需要处理复杂数据分布的任务中。通过提高深权重空间网络的泛化能力，能够在实际应用中实现更高的准确性和鲁棒性，推动相关技术的发展与应用。

📄 摘要（原文）

Learning in deep weight spaces (DWS), where neural networks process the weights of other neural networks, is an emerging research direction, with applications to 2D and 3D neural fields (INRs, NeRFs), as well as making inferences about other types of neural networks. Unfortunately, weight space models tend to suffer from substantial overfitting. We empirically analyze the reasons for this overfitting and find that a key reason is the lack of diversity in DWS datasets. While a given object can be represented by many different weight configurations, typical INR training sets fail to capture variability across INRs that represent the same object. To address this, we explore strategies for data augmentation in weight spaces and propose a MixUp method adapted for weight spaces. We demonstrate the effectiveness of these methods in two setups. In classification, they improve performance similarly to having up to 10 times more data. In self-supervised contrastive learning, they yield substantial 5-10% gains in downstream classification.