Understanding the Dataset Practitioners Behind Large Language Model Development
作者: Crystal Qian, Emily Reif, Minsuk Kahng
分类: cs.CL, cs.AI, cs.HC
发布日期: 2024-02-21 (更新: 2024-04-01)
备注: 7 pages, 2 figures. To be published in In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (CHI EA '24). Revised to reflect updates from CHI LBW reviewer feedback
💡 一句话要点
分析大型语言模型开发中的数据集从业者角色与挑战
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 数据质量 数据集从业者 评估方法 谷歌
📋 核心要点
- 核心问题：数据集从业者在大型语言模型开发中面临数据质量评估缺乏共识的挑战。
- 方法要点：通过回顾分析和访谈，定义数据集从业者的角色及其在数据质量评估中的实践。
- 实验或效果：访谈结果揭示了从业者在数据质量评估中依赖直觉和自定义代码的现状。
📝 摘要（中文）
随着大型语言模型（LLMs）的不断发展与影响力增强，审视其依赖和生成的数据变得愈发重要。本文分为两部分，首先通过对谷歌公司参与LLM开发团队的责任进行回顾性分析，定义了“数据集从业者”的角色。其次，我们对这些从业者进行了半结构化访谈（N=10）。研究发现，尽管数据质量是首要任务，但对于数据质量的定义及评估方法却缺乏共识，因此从业者往往依赖直觉或编写自定义代码来评估数据。我们讨论了这一现象的潜在原因及对齐的机会。
🔬 方法详解
问题定义：本文旨在解决大型语言模型开发中数据集从业者在数据质量评估方面的困境。现有方法缺乏统一的标准，导致从业者在评估数据时面临不确定性和主观性的问题。
核心思路：通过对谷歌公司数据集从业者的回顾性分析和半结构化访谈，明确其在数据质量评估中的角色和实践，旨在为数据质量的标准化提供基础。
技术框架：研究分为两个主要阶段：第一阶段为回顾性分析，识别从业者的职责；第二阶段为访谈，深入了解从业者的实际操作和面临的挑战。
关键创新：本研究的创新在于首次系统性地定义了数据集从业者的角色，并揭示了数据质量评估中的主观性和不一致性，填补了该领域的研究空白。
关键设计：访谈设计采用半结构化形式，确保从业者能够自由表达其在数据质量评估中的经验和观点，访谈对象涵盖不同职能的从业者，以获取多样化的视角。
🖼️ 关键图片
📊 实验亮点
研究结果表明，尽管数据质量被视为首要任务，但从业者在评估数据质量时缺乏一致的标准，导致依赖个人直觉和自定义工具。访谈中，10位从业者的反馈揭示了这一现象的普遍性，强调了对数据质量评估方法的需求。
🎯 应用场景
该研究为大型语言模型的开发提供了重要的实践指导，特别是在数据质量管理方面。通过明确数据集从业者的角色和挑战，未来可以推动数据质量评估标准的制定，提升模型的整体性能和可靠性。
📄 摘要（原文）
As large language models (LLMs) become more advanced and impactful, it is increasingly important to scrutinize the data that they rely upon and produce. What is it to be a dataset practitioner doing this work? We approach this in two parts: first, we define the role of "dataset practitioners" by performing a retrospective analysis on the responsibilities of teams contributing to LLM development at a technology company, Google. Then, we conduct semi-structured interviews with a cross-section of these practitioners (N=10). We find that although data quality is a top priority, there is little consensus around what data quality is and how to evaluate it. Consequently, practitioners either rely on their own intuition or write custom code to evaluate their data. We discuss potential reasons for this phenomenon and opportunities for alignment.