Scaling Laws for Downstream Task Performance of Large Language Models

📄 arXiv: 2402.04177v3 📥 PDF

作者: Berivan Isik, Natalia Ponomareva, Hussein Hazimeh, Dimitris Paparas, Sergei Vassilvitskii, Sanmi Koyejo

分类: cs.CL, cs.LG, stat.ML

发布日期: 2024-02-06 (更新: 2026-01-29)

备注: Published at the International Conference on Learning Representations (ICLR) 2025, with title: "Scaling Laws for Downstream Task Performance in Machine Translation"

💡 一句话要点

研究大语言模型下游任务性能的扩展规律

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 迁移学习 大语言模型 机器翻译 数据选择 性能评估

📋 核心要点

  1. 现有方法主要关注预训练损失的扩展规律，缺乏对下游任务性能的深入研究。
  2. 本文提出在迁移学习设置中，研究预训练数据选择和规模对下游翻译任务性能的影响。
  3. 实验结果显示，微调数据集规模和预训练与下游数据的对齐程度显著影响翻译质量，且在对齐良好的情况下，性能提升明显。

📝 摘要（中文）

扩展规律为大型语言模型（LLMs）的设计提供了重要见解。现有研究主要集中在预训练（上游）损失的扩展规律上，而在迁移学习环境中，LLMs通常在无监督数据集上进行预训练，然后在下游任务上进行微调。本文研究了在机器翻译任务中的扩展行为，探讨了预训练数据的选择及其规模如何影响下游性能（翻译质量）。实验表明，微调数据集的规模和预训练与下游数据之间的分布对扩展行为有显著影响。通过充分的对齐，翻译质量指标可以准确预测。

🔬 方法详解

问题定义：本文旨在解决在迁移学习中，如何选择合适的预训练数据以优化下游任务性能的问题。现有方法未能充分考虑预训练数据与下游任务之间的关系，导致性能波动。

核心思路：通过分析预训练数据的规模和分布对下游翻译任务的影响，提出了一种新的评估方法，旨在提高翻译质量的预测准确性。

技术框架：研究采用实验设计，首先在无监督数据集上进行预训练，然后在特定的机器翻译任务上进行微调。主要模块包括数据选择、模型训练和性能评估。

关键创新：提出了在迁移学习中，预训练数据的选择和对齐程度对下游性能的影响，尤其是通过对齐良好的数据集可以实现翻译质量的单调提升。

关键设计：在实验中，使用了交叉熵损失函数和BLEU、COMET等翻译质量评估指标，重点关注微调数据集的规模和预训练数据的分布对模型性能的影响。通过这些设计，能够更好地理解和预测下游任务的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在充分对齐的情况下，翻译质量指标（如BLEU和COMET分数）随着预训练数据的增加而单调提升。此外，研究发现中等程度的对齐不当可能导致翻译得分波动或下降，而交叉熵损失则始终单调改善。这些发现为选择合适的预训练数据提供了新的实用见解。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、自然语言处理和其他需要迁移学习的任务。通过优化预训练数据的选择，可以显著提升下游任务的性能，具有重要的实际价值和广泛的应用前景，尤其是在多语言翻译和跨领域知识迁移等场景中。

📄 摘要（原文）

Scaling laws provide important insights that can guide the design of large language models (LLMs). Existing work has primarily focused on studying scaling laws for pretraining (upstream) loss. However, in transfer learning settings, in which LLMs are pretrained on an unsupervised dataset and then finetuned on a downstream task, we often also care about the downstream performance. In this work, we study the scaling behavior in a transfer learning setting, where LLMs are finetuned for machine translation tasks. Specifically, we investigate how the choice of the pretraining data and its size affect downstream performance (translation quality) as judged by: downstream cross-entropy and translation quality metrics such as BLEU and COMET scores. Our experiments indicate that the size of the finetuning dataset and the distribution alignment between the pretraining and downstream data significantly influence the scaling behavior. With sufficient alignment, both downstream cross-entropy and translation quality scores improve monotonically with more pretraining data. In such cases, we show that it is possible to predict the downstream translation quality metrics with good accuracy using a log-law. However, there are cases where moderate misalignment causes the downstream translation scores to fluctuate or get worse with more pretraining, whereas downstream cross-entropy monotonically improves. By analyzing these, we provide new practical insights for choosing appropriate pretraining data.