FL-NAS: Towards Fairness of NAS for Resource Constrained Devices via Large Language Models

📄 arXiv: 2402.06696v1 📥 PDF

作者: Ruiyang Qin, Yuting Hu, Zheyu Yan, Jinjun Xiong, Ahmed Abbasi, Yiyu Shi

分类: cs.LG, cs.AI

发布日期: 2024-02-09

备注: ASP-DAC 2024

💡 一句话要点

提出FL-NAS以解决资源受限设备的公平性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经架构搜索 大型语言模型 公平性 硬件效率 深度学习

📋 核心要点

  1. 现有的NAS方法在资源受限设备上往往无法兼顾模型准确性和公平性，导致性能不均衡。
  2. FL-NAS框架通过引入大型语言模型，综合考虑模型准确性、公平性和硬件效率，提供了一种新的解决方案。
  3. 实验结果显示，FL-NAS在多个设计指标上显著优于现有的DNN模型，提升幅度达到几个数量级。

📝 摘要（中文）

神经架构搜索（NAS）已成为工业界自动设计深度神经网络的主要工具，尤其适用于计算资源有限的移动和边缘设备。近年来，随着大型语言模型（LLMs）的兴起，它们被引入到NAS中并展现出良好的效果。本文进一步探索这一方向，同时考虑模型准确性、公平性和硬件部署效率三个重要设计指标。我们提出了一种新颖的基于LLM的NAS框架FL-NAS，并通过实验表明，FL-NAS能够找到高性能的深度神经网络，在几乎所有设计考量上超越现有最先进的DNN模型。

🔬 方法详解

问题定义：本文旨在解决资源受限设备上神经架构搜索（NAS）中的公平性问题。现有方法往往只关注模型的准确性，忽视了公平性和硬件部署效率，导致在实际应用中性能不均衡。

核心思路：FL-NAS框架的核心思想是结合大型语言模型（LLMs）来同时优化模型的准确性、公平性和硬件效率。通过这种方式，FL-NAS能够在设计过程中综合考虑多种指标，确保所生成的模型在不同场景下均表现良好。

技术框架：FL-NAS的整体架构包括数据预处理、模型生成、评估和优化四个主要模块。首先，通过数据预处理模块准备训练数据；然后，模型生成模块利用LLMs生成候选架构；接着，评估模块对生成的架构进行性能评估；最后，优化模块根据评估结果调整架构参数。

关键创新：FL-NAS的主要创新点在于其引入了大型语言模型，使得NAS不仅关注模型的准确性，还能同时优化公平性和硬件效率。这一设计与传统的NAS方法有本质区别，后者通常只关注单一指标。

关键设计：在FL-NAS中，关键参数设置包括模型的超参数调优、损失函数的设计以及网络结构的选择。损失函数不仅考虑模型的准确性，还引入了公平性指标，以确保生成的模型在不同用户群体中表现均衡。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，FL-NAS在多个设计指标上超越了现有最先进的DNN模型，性能提升幅度达到几个数量级，尤其在公平性和硬件效率方面表现突出。这一成果为资源受限设备上的深度学习模型设计提供了新的思路。

🎯 应用场景

FL-NAS的研究成果具有广泛的应用潜力，尤其适用于移动设备、边缘计算和物联网等资源受限的场景。通过优化模型的公平性和效率，FL-NAS能够为各类应用提供更为可靠和高效的深度学习解决方案，推动智能设备的普及与发展。

📄 摘要（原文）

Neural Architecture Search (NAS) has become the de fecto tools in the industry in automating the design of deep neural networks for various applications, especially those driven by mobile and edge devices with limited computing resources. The emerging large language models (LLMs), due to their prowess, have also been incorporated into NAS recently and show some promising results. This paper conducts further exploration in this direction by considering three important design metrics simultaneously, i.e., model accuracy, fairness, and hardware deployment efficiency. We propose a novel LLM-based NAS framework, FL-NAS, in this paper, and show experimentally that FL-NAS can indeed find high-performing DNNs, beating state-of-the-art DNN models by orders-of-magnitude across almost all design considerations.