WARP: Weight-Space Analysis for Recovering Training Data Portfolios

📄 arXiv: 2607.01686v1 📥 PDF

作者: Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

分类: cs.LG

发布日期: 2026-07-02

备注: This work appears in the ICML 2026 Workshop on Weight-Space Symmetries (WSS): from Foundations to Practical Applications. Our source code is available at github.com/SprocketLab/WARP

💡 一句话要点

提出WARP框架以恢复训练数据组合，解决模型透明性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型透明性 训练数据恢复 几何特征提取 基础模型 成员推断

📋 核心要点

  1. 现有方法如成员推断只能在个体样本层面进行检测，无法全面表征训练数据的全局组成，导致模型透明性不足。
  2. WARP框架通过模型合并在基础模型与微调模型之间进行插值，生成伪检查点，恢复训练数据的几何足迹。
  3. 在BERT和GPT-2的实验中，WARP的平均绝对误差（MAE）分别为0.046和0.104，显著优于传统的成员推断方法。

📝 摘要（中文）

基础模型通常会向公众发布，但用于训练这些模型的数据配方，如领域混合权重，往往未被披露。这导致研究人员在研究模型时缺乏对训练分布的可见性。现有的训练数据推断方法，如成员推断，无法全面表征训练语料库的全局组成。本文提出WARP框架，通过直接从发布的权重中恢复微调模型的训练混合，生成伪检查点，近似缺失的训练轨迹，并在权重空间中揭示训练数据的几何足迹。通过这些模拟足迹，WARP提取几何特征，并使用无参数softmax读取或在合成混合上训练的MLP投影器将其映射到领域比例。在对BERT和GPT-2的控制实验中，WARP分别以0.046和0.104的平均绝对误差（MAE）恢复领域混合，优于成员推断和访问真实训练轨迹的变体。

🔬 方法详解

问题定义：本文旨在解决基础模型训练数据组合的透明性问题，现有方法无法有效推断训练数据的全局组成，导致研究人员对模型的理解受限。

核心思路：WARP框架通过直接从模型权重中恢复训练数据组合，利用模型合并生成伪检查点，近似缺失的训练轨迹，从而揭示训练数据的几何特征。

技术框架：WARP的整体架构包括模型合并、伪检查点生成和几何特征提取三个主要模块。首先，通过插值生成伪检查点，然后提取几何特征，最后将这些特征映射到领域比例。

关键创新：WARP的核心创新在于通过权重空间的几何足迹直接恢复训练数据组合，区别于传统方法的样本级推断，提供了更全面的训练数据视角。

关键设计：WARP使用无参数softmax读取和在合成混合上训练的MLP投影器来映射几何特征，确保了方法的灵活性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

WARP在控制实验中表现出色，BERT和GPT-2的平均绝对误差（MAE）分别为0.046和0.104，显著优于传统的成员推断方法和访问真实训练轨迹的变体，展示了其在恢复训练数据组合方面的强大能力。

🎯 应用场景

WARP框架的潜在应用场景包括模型透明性提升、训练数据审计和合规性检查等领域。通过恢复训练数据组合，研究人员可以更好地理解模型的行为和偏见，从而在实际应用中提高模型的可靠性和公平性。未来，WARP可能在模型开发和评估中发挥重要作用，促进更负责任的AI研究。

📄 摘要（原文）

Foundation models are routinely released to the public, yet the data recipes used to train them -- such as domain mixture weights that determine how different sources are sampled -- are rarely disclosed. This creates an access asymmetry: researchers study the resulting models but lack visibility into the training distribution that produces them. Prior works for inferring training data, such as membership inference, detect at the level of individual samples and thus cannot characterize the global composition of the training corpus. We introduce WARP, a framework that recovers a fine-tuned model's training mixtures directly from its released weights. WARP interpolates between the base and fine-tuned models using model merging, generating pseudo-checkpoints that approximate the missing training trajectory and expose a geometric footprint of the training data in the weight space. From these simulated footprints, WARP extracts geometric features and maps them to domain proportions using either a parameter-free softmax readout or an MLP projector trained on synthetic mixtures. In controlled experiments with BERT and GPT-2, WARP recovers domain mixtures with an average MAE as low as 0.046 and 0.104 respectively, outperforming membership inference and a variant with access to the true training trajectory.