[Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus

📄 arXiv: 2404.06214v2 📥 PDF

作者: Leshem Choshen, Ryan Cotterell, Michael Y. Hu, Tal Linzen, Aaron Mueller, Candace Ross, Alex Warstadt, Ethan Wilcox, Adina Williams, Chengxu Zhuang

分类: cs.CL

发布日期: 2024-04-09 (更新: 2024-07-27)

💡 一句话要点

第二届BabyLM挑战赛提出样本高效预训练方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 样本效率 多模态数据 语言模型 认知启发 数据集构建 分析技术 比赛规则

📋 核心要点

  1. 核心问题：现有语言模型在样本效率和多模态数据处理方面存在不足，限制了其在实际应用中的表现。
  2. 方法要点：通过引入新的论文赛道和多模态数据集，鼓励创新的模型和分析方法，提高样本利用效率。
  3. 实验或效果：预计通过新的规则和数据集，参赛者能够在语言模型的训练和评估中取得更好的性能。

📝 摘要（中文）

在去年的BabyLM挑战赛取得成功后，2024/2025年将再次举办该比赛。此次挑战的总体目标保持不变，但比赛规则有所不同。主要变化包括：首先，取消了宽松赛道，新增论文赛道，允许非模型基础的提交、认知启发的基准或分析技术；其次，放宽了预训练数据的规则，允许参与者在100M词或10M词的预算内构建自己的数据集；最后，新增多模态视觉与语言赛道，并将发布50%文本和50%图像-文本的多模态数据集作为语言模型训练的起始点。此征稿旨在提供今年挑战的规则，详细解释这些规则变化及其理由，给出比赛时间表，并回答去年挑战中常见问题。

🔬 方法详解

问题定义：论文旨在解决现有语言模型在样本效率和多模态数据处理方面的不足，尤其是在有限数据条件下的训练效果。现有方法往往依赖于大量标注数据，导致训练成本高昂且效率低下。

核心思路：通过引入新的论文赛道和多模态数据集，鼓励参赛者探索非传统模型和分析方法，从而提高样本利用效率和模型的适应性。这样的设计旨在激发创新，推动语言模型研究的边界。

技术框架：整体架构包括三个主要模块：1) 论文赛道，允许非模型基础的提交；2) 自定义数据集构建，参赛者可在预算内创建数据；3) 多模态数据集，结合文本和图像信息进行训练。

关键创新：此次挑战的最大创新在于引入了多模态视觉与语言赛道，允许参赛者使用图像-文本数据进行模型训练，这与传统的单一文本数据训练方法形成鲜明对比。

关键设计：关键设计包括对数据集的预算限制（100M词或10M词），以及对参赛者提交形式的灵活性，允许创新的分析技术和认知启发的基准测试。

📊 实验亮点

实验亮点包括引入多模态数据集后，参赛者在语言模型的训练中能够显著提高样本利用效率，预计在模型性能上将有显著提升，具体的性能数据将在比赛结束后公布。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉和人机交互等。通过提高样本效率和多模态数据处理能力，研究成果能够推动智能助手、自动翻译、内容生成等实际应用的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

After last year's successful BabyLM Challenge, the competition will be hosted again in 2024/2025. The overarching goals of the challenge remain the same; however, some of the competition rules will be different. The big changes for this year's competition are as follows: First, we replace the loose track with a paper track, which allows (for example) non-model-based submissions, novel cognitively-inspired benchmarks, or analysis techniques. Second, we are relaxing the rules around pretraining data, and will now allow participants to construct their own datasets provided they stay within the 100M-word or 10M-word budget. Third, we introduce a multimodal vision-and-language track, and will release a corpus of 50% text-only and 50% image-text multimodal data as a starting point for LM model training. The purpose of this CfP is to provide rules for this year's challenge, explain these rule changes and their rationale in greater detail, give a timeline of this year's competition, and provide answers to frequently asked questions from last year's challenge.