PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in Open-Source Software

📄 arXiv: 2402.00699v1 📥 PDF

作者: Wenxin Jiang, Jerin Yasmin, Jason Jones, Nicholas Synovic, Jiashen Kuo, Nathaniel Bielanski, Yuan Tian, George K. Thiruvathukal, James C. Davis

分类: cs.SE, cs.AI, cs.DB, cs.LG

发布日期: 2024-02-01

备注: Accepted at MSR'24

💡 一句话要点

提出PeaTMOSS数据集以分析预训练模型在开源软件中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练模型 开源软件 数据集 模型分析 软件工程

📋 核心要点

  1. 现有研究缺乏对预训练模型（PTMs）供应链的系统性分析，导致对其影响和重用情况的理解不足。
  2. 本文提出PeaTMOSS数据集，系统记录PTMs的元数据及其在开源软件中的应用，填补了这一研究空白。
  3. 通过对数据集的分析，发现PTM文档存在不一致性，并为未来的PTM研究提供了基础和丰富的挖掘机会。

📝 摘要（中文）

深度学习模型的开发和训练成本日益增加，软件工程师开始采用预训练模型（PTMs）进行下游应用。然而，PTM供应链的动态尚未被充分探索，迫切需要结构化的数据集来记录这些模型的元数据及其后续应用。本文提出的PeaTMOSS数据集包含281,638个PTM的元数据，以及所有每月下载超过50次的PTM（共14,296个）的详细快照，和28,575个使用这些模型的GitHub开源软件库。此外，数据集还包括15,129个下游GitHub库与2,530个PTM之间的44,337个映射。通过对该数据集的分析，本文首次总结了PTM供应链的统计数据，揭示了PTM开发的趋势及其文档的常见不足。

🔬 方法详解

问题定义：本文旨在解决预训练模型（PTMs）在开源软件中的应用缺乏系统性记录的问题。现有方法未能全面了解PTM的影响和重用情况。

核心思路：提出PeaTMOSS数据集，记录PTMs的元数据及其在开源软件中的应用，利用大型语言模型自动提取模型元数据，增强数据集的全面性。

技术框架：数据集由281,638个PTM的元数据、14,296个高下载量PTM的快照和28,575个使用这些模型的开源软件库组成，包含PTM与下游库的映射关系。

关键创新：首次系统性地总结PTM供应链的统计数据，揭示PTM开发趋势及文档不足，提供了对PTM使用的深入分析。

关键设计：通过设计提示，利用大型语言模型自动提取模型的训练数据集、参数和评估指标，确保数据集的准确性和全面性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

通过对PeaTMOSS数据集的分析，发现PTM文档存在显著的不一致性，且对软件许可证的使用情况进行了初步评估。这些发现为PTM的改进和标准化提供了重要依据，促进了开源软件的健康发展。

🎯 应用场景

PeaTMOSS数据集为研究预训练模型在开源软件中的应用提供了基础，能够帮助研究人员和工程师更好地理解PTM的使用情况及其影响。未来，可以利用该数据集进行PTM供应链的深入研究，探索模型的优化和改进方向。

📄 摘要（原文）

The development and training of deep learning models have become increasingly costly and complex. Consequently, software engineers are adopting pre-trained models (PTMs) for their downstream applications. The dynamics of the PTM supply chain remain largely unexplored, signaling a clear need for structured datasets that document not only the metadata but also the subsequent applications of these models. Without such data, the MSR community cannot comprehensively understand the impact of PTM adoption and reuse. This paper presents the PeaTMOSS dataset, which comprises metadata for 281,638 PTMs and detailed snapshots for all PTMs with over 50 monthly downloads (14,296 PTMs), along with 28,575 open-source software repositories from GitHub that utilize these models. Additionally, the dataset includes 44,337 mappings from 15,129 downstream GitHub repositories to the 2,530 PTMs they use. To enhance the dataset's comprehensiveness, we developed prompts for a large language model to automatically extract model metadata, including the model's training datasets, parameters, and evaluation metrics. Our analysis of this dataset provides the first summary statistics for the PTM supply chain, showing the trend of PTM development and common shortcomings of PTM package documentation. Our example application reveals inconsistencies in software licenses across PTMs and their dependent projects. PeaTMOSS lays the foundation for future research, offering rich opportunities to investigate the PTM supply chain. We outline mining opportunities on PTMs, their downstream usage, and cross-cutting questions.