AboutMe: Using Self-Descriptions in Webpages to Document the Effects of English Pretraining Data Filters
作者: Li Lucy, Suchin Gururangan, Luca Soldaini, Emma Strubell, David Bamman, Lauren F. Klein, Jesse Dodge
分类: cs.CL
发布日期: 2024-01-12 (更新: 2024-06-20)
备注: 28 pages, 13 figures. Association for Computational Linguistics (ACL) 2024
💡 一句话要点
提出基于自我描述的数据集以优化英语预训练数据筛选
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 预训练数据 数据筛选 社会影响 语言模型 自我描述 质量分类器 地理归属
📋 核心要点
- 现有的预训练数据筛选方法缺乏对社会和地理背景的深入考虑，导致潜在的偏见和信息遗漏。
- 本文通过构建一个包含1030万条自我描述的数据集，分析网页创建者的社会角色和地理归属，提出了一种新的数据筛选视角。
- 实验结果表明，某些质量分类器表现出主题领域过滤的特征，而langID可能忽视来自某些地区的英语内容，揭示了数据筛选中的隐含偏好。
📝 摘要（中文）
大型语言模型（LLMs）的能力源于其预训练数据，而数据的选择和过滤在模型开发中至关重要。然而，关于哪些数据应被保留或移除的决策往往缺乏深入审视。本文通过建立一个包含1030万条网站创建者自我描述的新数据集，探讨了网页文本的社会和地理背景。我们首次研究了十种“质量”与英语语言识别（langID）过滤器对不同社会维度网页的影响，揭示了数据筛选中的隐含偏好。我们的研究旨在推动预训练数据筛选实践及其社会影响的新研究方向。
🔬 方法详解
问题定义：本文旨在解决预训练数据筛选过程中对社会和地理背景的忽视，现有方法在数据选择上存在偏见和信息遗漏的问题。
核心思路：通过建立一个包含网站创建者自我描述的新数据集，分析其社会角色和地理归属，从而为数据筛选提供更全面的视角。
技术框架：整体架构包括数据收集、信息提取和过滤器影响分析三个主要模块。首先收集自我描述数据，然后提取相关信息，最后评估不同过滤器的效果。
关键创新：最重要的创新在于建立了一个大规模的自我描述数据集，并首次系统性地分析了质量分类器和langID过滤器的社会影响，揭示了数据筛选中的隐含偏好。
关键设计：在数据集构建中，重点关注创建者的主题兴趣和地理信息，采用多种质量分类器进行比较，并设计了针对不同社会维度的实验方案。实验中使用了标准的性能评估指标，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，某些质量分类器在主题领域过滤方面表现突出，而langID过滤器在识别来自特定地区的英语内容时存在显著不足。这些发现强调了数据筛选过程中的隐含偏好，推动了对预训练数据选择的重新审视。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、社交媒体分析和数据伦理研究。通过优化预训练数据的筛选过程，可以提升语言模型的公平性和准确性，减少偏见，促进更广泛的社会影响。未来，该研究可能引导更深入的关于数据选择与社会影响的讨论，推动相关政策的制定。
📄 摘要（原文）
Large language models' (LLMs) abilities are drawn from their pretraining data, and model development begins with data curation. However, decisions around what data is retained or removed during this initial stage are under-scrutinized. In our work, we ground web text, which is a popular pretraining data source, to its social and geographic contexts. We create a new dataset of 10.3 million self-descriptions of website creators, and extract information about who they are and where they are from: their topical interests, social roles, and geographic affiliations. Then, we conduct the first study investigating how ten "quality" and English language identification (langID) filters affect webpages that vary along these social dimensions. Our experiments illuminate a range of implicit preferences in data curation: we show that some quality classifiers act like topical domain filters, and langID can overlook English content from some regions of the world. Overall, we hope that our work will encourage a new line of research on pretraining data curation practices and its social implications.