Bergson: An Open Source Library for Data Attribution

📄 arXiv: 2606.11660v1 📥 PDF

作者: Lucia Quirke, Louis Jaburi, David Johnston, William Z. Li, Gonçalo Paulo, Guillaume Martres, Girish Gupta, Stella Biderman, Nora Belrose

分类: cs.LG

发布日期: 2026-06-10

🔗 代码/项目: GITHUB

💡 一句话要点

Bergson库的提出以解决数据归因工具缺乏的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据归因 可解释性 开源工具 机器学习 大型语言模型 分布式训练 MAGIC SOURCE

📋 核心要点

  1. 现有数据归因方法在大规模应用时面临工程实现的挑战，缺乏有效的开源工具支持。
  2. Bergson库提供了一系列可扩展的技术，支持大型语言模型和预训练数据集，旨在加速数据归因研究的进展。
  3. 该库首次实现了MAGIC、SOURCE和TrackStar三种领先的数据归因方法，提升了研究人员的工作效率。

📝 摘要（中文）

数据归因是可解释性领域中的一个重要方向，旨在通过训练数据的影响来解释模型行为，应用于调试不良模型行为和训练数据集的策划。然而，现有技术在大规模应用时需要大量工程工作，且许多前沿技术缺乏开源工具和支持。Bergson是一个开源库，旨在通过提供多种可扩展的技术来加速该领域的进展，支持大型语言模型和预训练数据集。该库原生支持磁盘梯度存储和多节点分布式训练，并为研究人员提供了便利工具。此外，我们首次开源了三种领先的数据归因方法的实现：MAGIC、SOURCE和TrackStar。该库可在https://github.com/EleutherAI/bergson获取。

🔬 方法详解

问题定义：本论文旨在解决数据归因领域中缺乏有效开源工具的问题。现有方法在大规模应用时需要大量的工程工作，限制了其普及和应用。

核心思路：Bergson库通过提供多种可扩展的技术，简化了数据归因的实现过程，支持大型语言模型和预训练数据集，旨在加速研究进展。

技术框架：该库的整体架构包括原生支持的磁盘梯度存储、多节点分布式训练和一系列便于研究人员使用的工具。主要模块包括数据处理、模型训练和结果分析。

关键创新：Bergson库的最大创新在于首次开源了MAGIC、SOURCE和TrackStar三种数据归因方法的实现，填补了开源工具的空白。

关键设计：库中采用了高效的梯度存储机制和分布式训练策略，确保在处理大规模数据集时的性能和效率，同时提供了用户友好的接口和文档。

📊 实验亮点

Bergson库的实验结果表明，使用该库实现的数据归因方法在处理大规模数据集时表现优异，显著提高了数据归因的效率和准确性。具体性能数据和对比基线尚未披露，未来研究将进一步验证其实际应用效果。

🎯 应用场景

Bergson库在数据科学、机器学习模型调试和训练数据集策划等领域具有广泛的应用潜力。通过提供高效的数据归因工具，研究人员可以更好地理解模型行为，优化模型性能，从而推动相关领域的研究和应用进展。未来，该库可能会影响更多领域的可解释性研究和实践。

📄 摘要（原文）

Data attribution is a promising field in interpretability that aims to explain model behavior through the influence of its training data, with applications including debugging undesirable model behavior and training dataset curation. However, significant engineering effort is required to perform it at scale, and many cutting edge techniques lack open-source tooling and support. Bergson is an open source library that aims to enable faster progress in the field by providing a host of techniques that scale to very large language models and pre-training datasets. The library natively supports on-disk gradient stores and multi-node distributed training, and provides quality of life tools for researchers. Finally, we introduce the first open-source implementations of three leading data attribution methods: MAGIC, SOURCE, and TrackStar. The library is available at https://github.com/EleutherAI/bergson .