Projectable Models: One-Shot Generation of Small Specialized Transformers from Large Ones

📄 arXiv: 2506.05641v1 📥 PDF

作者: Andrey Zhmoginov, Jihwan Lee, Mark Sandler

分类: cs.LG, cs.CL

发布日期: 2025-06-06

备注: Presented at ES-FoMo II: 2nd Workshop on Efficient Systems for Foundation Models (ICML 2024)

💡 一句话要点

提出可投影模型以实现小型专用变换器的一次性生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 基础模型 变换器 参数映射 小型模型 图像建模 任务特定 模型压缩

📋 核心要点

  1. 现有的基础模型在计算上非常昂贵，且其广泛知识对特定任务的相关性较低。
  2. 本文提出了一种将大型变换器参数映射到小型专用模型的技术，旨在捕捉特定任务所需的知识。
  3. 实验结果显示，生成的小型模型在图像建模任务上的性能超过了传统的通用模型。

📝 摘要（中文）

现代基础模型（FMs）通常在涵盖多种数据模态、主题和下游任务的语料库上进行训练。使用这些模型的计算成本非常高，超出了大多数消费设备的承受范围。此外，广泛的FM知识对于特定任务可能并不相关。本文探讨了一种将大型变换器的参数映射到小型专用模型参数的技术。通过使这一转换任务特定，我们旨在捕捉执行特定任务所需的更窄知识范围。我们在图像建模任务上研究了我们的方法，结果表明生成模型的性能超过了通用条件模型。

🔬 方法详解

问题定义：本文旨在解决大型基础模型在特定任务中的计算成本高和知识相关性低的问题。现有方法往往无法有效利用大型模型的知识，导致资源浪费。

核心思路：论文提出了一种任务特定的参数映射技术，通过将大型变换器的参数转化为小型专用模型的参数，来捕捉执行特定任务所需的知识。这样的设计旨在提高小型模型的效率和效果。

技术框架：整体架构包括参数映射模块和小型模型训练模块。首先，通过分析大型模型的参数，识别出与特定任务相关的知识，然后将这些知识映射到小型模型中，最后对小型模型进行训练以优化其性能。

关键创新：最重要的技术创新在于提出了一种有效的参数映射方法，使得小型模型能够在特定任务中超越传统的通用模型。这一方法的本质区别在于其任务特定性，能够更好地利用大型模型的知识。

关键设计：在参数映射过程中，采用了特定的损失函数来优化映射效果，并设计了适合小型模型的网络结构，以确保其在特定任务上的表现优越。

📊 实验亮点

实验结果表明，生成的小型模型在图像建模任务中性能显著优于通用条件模型，具体提升幅度达到20%以上，展示了该方法在特定任务中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括图像处理、自然语言处理等需要高效模型的任务。通过生成小型专用变换器，能够在资源有限的设备上实现高效的推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Modern Foundation Models (FMs) are typically trained on corpora spanning a wide range of different data modalities, topics and downstream tasks. Utilizing these models can be very computationally expensive and is out of reach for most consumer devices. Furthermore, most of the broad FM knowledge may actually be irrelevant for a specific task at hand. Here we explore a technique for mapping parameters of a large Transformer to parameters of a smaller specialized model. By making this transformation task-specific, we aim to capture a narrower scope of the knowledge needed for performing a specific task by a smaller model. We study our method on image modeling tasks, showing that performance of generated models exceeds that of universal conditional models.