What Carries Forward? Pretraining Disclosure Across Language Model Releases

📄 arXiv: 2610.37465v1 📥 PDF

作者: Md Sakib Ul Islam, S M Mehedi Zaman

分类: cs.CL

发布日期: 2026-10-27

💡 一句话要点

揭示语言模型预训练信息透明度的变化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 预训练 透明度 文档审计 信息披露 模型评估 基础模型

📋 核心要点

  1. 现有语言模型的预训练信息披露不一致，导致对模型性能和训练过程的理解不足。
  2. 通过对41个模型条目的文档审计，论文提出了一种系统评估预训练信息透明度的方法。
  3. 研究结果显示，后续模型版本在信息披露上存在显著的丧失和增益，强调了文档化的重要性。

📝 摘要（中文）

理解语言模型的预训练过程需要关于其数据、处理程序和计算资源的信息。然而，后续版本是否保留或扩展了早期的披露仍不明确。本文对来自17个家族的41个模型条目进行了文档审计，使用2025年基础模型透明度指数（FMTI）的24个预训练相关指标。研究发现，在24个相邻比较中，得分在11个比较中下降，6个比较中上升，7个保持不变，整体上有38个指标丧失和28个指标获得。这些发现表明，后续版本并不总是保留早期的预训练披露，促使对变化及继承信息适用性的文档化需求。

🔬 方法详解

问题定义：本文旨在解决语言模型预训练信息披露的不一致性问题，现有方法未能有效跟踪模型版本间的透明度变化。

核心思路：通过对41个模型条目的文档审计，使用24个预训练相关指标，系统性地评估和比较不同模型版本的信息披露情况。

技术框架：研究采用文档审计的方法，分析模型的预训练数据、处理程序和计算资源，形成整体的透明度评分。主要模块包括数据收集、指标评估和结果分析。

关键创新：论文的创新在于提出了一种基于文档的审计方法，系统性地揭示了不同模型版本间信息披露的变化，填补了现有研究的空白。

关键设计：研究中使用的24个指标涵盖了数据组成、训练计算等多个方面，确保了评估的全面性和准确性。

📊 实验亮点

实验结果显示，在41个模型条目的审计中，得分在11个比较中下降，6个比较中上升，整体上有38个指标丧失和28个指标获得。这表明后续模型版本在信息披露上存在显著的变化，强调了文档化的必要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、模型开发和评估等。通过提高语言模型的透明度，研究可以帮助开发者更好地理解模型的训练过程，从而优化模型设计和应用，促进更负责任的AI开发。

📄 摘要（原文）

Understanding how language models were pretrained requires information about their data, processing procedures, and computational resources. However, it remains unclear whether successive releases preserve or expand earlier disclosure. We conduct a document-based audit of 41 model entries from 17 families using 24 pretraining-related indicators from the 2025 Foundation Model Transparency Index (FMTI). We examine overall scores and indicator profiles, tracking gains, losses, and retained disclosures across 24 adjacent comparisons in ten families. Scores decrease in 11 comparisons, increase in six, and remain unchanged in seven, with 38 indicator losses and 28 gains overall. Stable or improving scores can conceal losses: OLMo-2 and OLMo-3 receive identical totals despite three gains and three losses, while Llama-3.1 improves over Llama-2 while losing credit for two data-related criteria. Gaps also persist in corpus composition and training compute. These findings show that later releases do not consistently preserve earlier pretraining disclosure and motivate documentation that explicitly identifies changes and the applicability of inherited information.