SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection

📄 arXiv: 2401.13160v1 📥 PDF

作者: Ke Ye, Heinrich Jiang, Afshin Rostamizadeh, Ayan Chakrabarti, Giulia DeSalvo, Jean-François Kagy, Lazaros Karydas, Gui Citovsky, Sanjiv Kumar

分类: cs.LG, cs.CL

发布日期: 2024-01-24

备注: 9+13 pages, 5 figures

💡 一句话要点

提出SpacTor-T5以提高大语言模型预训练效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 预训练 跨度损坏 替换标记检测 两阶段课程学习 自然语言处理 计算效率

📋 核心要点

  1. 现有大语言模型预训练方法资源消耗高，效率低，未能充分利用训练数据。
  2. 提出SpacTor，通过混合目标结合跨度损坏和替换标记检测，采用两阶段课程优化预训练过程。
  3. 实验表明，SpacTor-T5在下游任务中表现与标准SC相当，但预训练迭代减少50%，FLOPs减少40%。

📝 摘要（中文）

大规模语言模型的预训练通常资源消耗巨大且效率低下，未能充分利用训练文本序列中的信息。本文提出了一种新的训练程序SpacTor，包括（1）结合跨度损坏（SC）和替换标记检测（RTD）的混合目标，以及（2）优化混合目标的两阶段课程，初始$τ$次迭代后过渡到标准SC损失。实验证明，混合目标的有效性与两阶段预训练计划密切相关。在多种NLP任务上，SpacTor-T5在下游性能上与标准SC预训练相当，同时减少了50%的预训练迭代和40%的总FLOPs，或者在相同计算预算下显著提升了下游基准性能。

🔬 方法详解

问题定义：当前大语言模型的预训练过程通常资源密集且效率低下，未能充分利用训练文本中的信息，导致计算资源的浪费。

核心思路：论文提出的SpacTor方法通过混合目标结合跨度损坏（SC）和替换标记检测（RTD），并采用两阶段的课程学习策略，以提高预训练的效率和效果。

技术框架：整体架构包括两个主要阶段：初始阶段优化混合目标，随后过渡到标准的SC损失。该方法通过这种分阶段的训练策略来提升模型的学习能力。

关键创新：最重要的创新在于引入了混合目标和两阶段课程学习的结合，这与传统的单一目标预训练方法有本质区别，能够更有效地利用训练数据。

关键设计：在参数设置上，混合目标的设计允许模型在初期学习更丰富的上下文信息，而后期则专注于标准的损失函数，从而实现更高效的训练过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SpacTor-T5在下游任务中与标准SC预训练的性能相当，同时实现了50%的预训练迭代减少和40%的总FLOPs降低。此外，在相同计算预算下，SpacTor显著提升了下游基准性能，展示了其在效率和效果上的优势。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理的各个方面，如文本生成、机器翻译和问答系统等。通过提高预训练效率，SpacTor-T5能够在资源有限的情况下，帮助研究人员和开发者更快地构建高性能的语言模型，推动相关技术的进步和应用。

📄 摘要（原文）

Pre-training large language models is known to be extremely resource intensive and often times inefficient, under-utilizing the information encapsulated in the training text sequences. In this paper, we present SpacTor, a new training procedure consisting of (1) a hybrid objective combining span corruption (SC) and token replacement detection (RTD), and (2) a two-stage curriculum that optimizes the hybrid objective over the initial $τ$ iterations, then transitions to standard SC loss. We show empirically that the effectiveness of the hybrid objective is tied to the two-stage pre-training schedule, and provide extensive analysis on why this is the case. In our experiments with encoder-decoder architectures (T5) on a variety of NLP tasks, SpacTor-T5 yields the same downstream performance as standard SC pre-training, while enabling a 50% reduction in pre-training iterations and 40% reduction in total FLOPs. Alternatively, given the same amount of computing budget, we find that SpacTor results in significantly improved downstream benchmark performance.