WARP: Weight-Space Analysis for Recovering Training Data Portfolios

📄 arXiv: 2607.01686 📥 PDF

作者: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

分类: cs.LG

发布日期: 2026-07-05

💡 一句话要点

提出WARP框架以恢复训练数据组合

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 训练数据推断 模型透明度 几何分析 领域比例 基础模型

📋 核心要点

  1. 现有方法在推断训练数据时，通常只能在样本级别进行，无法全面了解训练数据的组成。
  2. WARP框架通过模型合并技术，直接从模型权重中恢复训练数据的混合比例，提供了新的解决方案。
  3. 在BERT和GPT-2的实验中，WARP的平均绝对误差分别为0.046和0.104，显著优于传统方法。

📝 摘要（中文）

基础模型通常会公开发布，但用于训练它们的数据配方（如领域混合权重）却很少披露。这导致研究人员在研究模型时缺乏对训练分布的可见性。现有的训练数据推断方法，如成员推断，通常只能在单个样本级别进行检测，无法表征训练语料库的全局组成。本文提出WARP框架，直接从发布的权重中恢复微调模型的训练混合。WARP通过模型合并在基础模型和微调模型之间进行插值，生成近似缺失训练轨迹的伪检查点，并在权重空间中揭示训练数据的几何足迹。通过这些模拟足迹，WARP提取几何特征，并使用无参数softmax读出或在合成混合上训练的MLP投影器将其映射到领域比例。在对BERT和GPT-2的控制实验中，WARP以0.046和0.104的平均绝对误差恢复领域混合，优于成员推断和访问真实训练轨迹的变体。

🔬 方法详解

问题定义：本文旨在解决训练数据组合的推断问题，现有方法如成员推断无法有效表征训练数据的全局组成，导致研究人员对模型训练过程缺乏透明度。

核心思路：WARP框架通过插值技术在基础模型和微调模型之间生成伪检查点，从而恢复训练数据的几何足迹，进而推断出训练数据的领域比例。

技术框架：WARP的整体架构包括模型合并、伪检查点生成、几何特征提取和领域比例映射四个主要模块。首先，通过模型合并生成伪检查点，然后提取几何特征，最后使用softmax读出或MLP投影器进行领域比例的映射。

关键创新：WARP的核心创新在于通过权重空间的几何分析直接推断训练数据组合，这一方法与传统的样本级推断方法有本质区别，能够提供更全面的训练数据视角。

关键设计：WARP采用无参数softmax读出和在合成混合上训练的MLP投影器，确保了对领域比例的准确映射，同时在实验中展示了其在不同模型上的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在对BERT和GPT-2的实验中，WARP成功地以0.046和0.104的平均绝对误差恢复领域混合，显著优于传统的成员推断方法和访问真实训练轨迹的变体，展示了其在训练数据推断中的有效性和优势。

🎯 应用场景

WARP框架的潜在应用领域包括模型透明度提升、训练数据合成和模型公平性评估等。通过恢复训练数据组合，研究人员可以更好地理解模型的行为和偏见，从而在实际应用中提高模型的可靠性和可解释性。未来，WARP可能在多种基础模型的训练和评估中发挥重要作用。

📄 摘要（原文）

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.