Multi-conditioned Graph Diffusion for Neural Architecture Search

📄 arXiv: 2403.06020v2 📥 PDF

作者: Rohan Asthana, Joschua Conrad, Youssef Dawoud, Maurits Ortmanns, Vasileios Belagiannis

分类: cs.LG, cs.CV

发布日期: 2024-03-09 (更新: 2024-03-22)

备注: Accepted at Transactions on Machine Learning Research (TMLR)

💡 一句话要点

提出基于图扩散的神经架构搜索方法以提高架构设计效率

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 神经架构搜索 图扩散 深度学习 自动化机器学习 模型优化 性能约束 高效架构设计

📋 核心要点

  1. 现有的神经架构搜索方法在探索复杂架构搜索空间时效率低下，难以快速生成高性能架构。
  2. 本文提出了一种基于图扩散的神经架构搜索方法，利用条件图扩散过程生成架构，并引入多条件引导以满足性能约束。
  3. 实验结果表明，该方法在六个标准基准上表现出色，生成架构的速度快于0.2秒，并在ImageNet数据集上验证了其有效性。

📝 摘要（中文）

神经架构搜索（NAS）自动化设计神经网络架构，通常需要探索复杂的架构搜索空间。为推动架构搜索的发展，本文提出了一种基于图扩散的NAS方法，利用离散条件图扩散过程生成高性能的神经网络架构。我们还提出了一种多条件无分类器引导方法，应用于图扩散网络，以共同施加高准确率和低硬件延迟等约束。与相关工作不同，我们的方法完全可微分，仅需一次模型训练。在评估中，我们在六个标准基准上展示了良好的结果，快速生成新颖独特的架构，速度低于0.2秒每个架构。此外，我们通过在ImageNet数据集上的实验展示了方法的可推广性和效率。

🔬 方法详解

问题定义：本文旨在解决现有神经架构搜索方法在复杂搜索空间中效率低下的问题，导致生成高性能架构的时间成本高。

核心思路：提出基于图扩散的NAS方法，通过离散条件图扩散过程生成架构，并结合多条件引导来同时满足高准确率和低延迟的需求。

技术框架：整体架构包括图扩散网络和多条件引导模块。图扩散网络负责生成架构，而多条件引导模块则施加性能约束。

关键创新：本研究的创新点在于提出了一种完全可微分的方法，且只需一次模型训练，相较于传统方法显著提高了效率。

关键设计：在设计中，采用了特定的损失函数以平衡准确率与延迟，同时优化了图扩散过程中的参数设置，以确保生成架构的高性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在六个标准基准上表现优异，生成架构的速度低于0.2秒，并在ImageNet数据集上验证了其可推广性和效率，展示了相较于传统方法的显著提升。

🎯 应用场景

该研究的潜在应用领域包括自动化机器学习、深度学习模型设计以及边缘计算设备上的高效模型部署。通过提高架构搜索的效率和性能，能够加速新型神经网络的开发，推动智能应用的普及与发展。

📄 摘要（原文）

Neural architecture search automates the design of neural network architectures usually by exploring a large and thus complex architecture search space. To advance the architecture search, we present a graph diffusion-based NAS approach that uses discrete conditional graph diffusion processes to generate high-performing neural network architectures. We then propose a multi-conditioned classifier-free guidance approach applied to graph diffusion networks to jointly impose constraints such as high accuracy and low hardware latency. Unlike the related work, our method is completely differentiable and requires only a single model training. In our evaluations, we show promising results on six standard benchmarks, yielding novel and unique architectures at a fast speed, i.e. less than 0.2 seconds per architecture. Furthermore, we demonstrate the generalisability and efficiency of our method through experiments on ImageNet dataset.