Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought

📄 arXiv: 2402.04004v2 📥 PDF

作者: Alex Havrilla, Maia Iyer

分类: cs.LG

发布日期: 2024-02-06 (更新: 2024-02-09)

💡 一句话要点

提出TInt框架以研究LLM训练数据噪声对性能的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型 噪声过滤 链式思维 算法可解任务 模型鲁棒性 数据预处理

📋 核心要点

  1. 现有方法对训练数据中的噪声类型及其强度对模型性能的影响缺乏定量分析，导致噪声过滤策略不够有效。
  2. 论文提出了TInt框架，通过生成可定制的噪声执行轨迹，研究链式思维中的噪声对模型性能的影响。
  3. 实验结果显示，微调模型对静态噪声鲁棒性强，但对动态噪声敏感，提示模型则对静态噪声更为敏感。

📝 摘要（中文）

在大规模语言模型（LLMs）的预训练和微调过程中，模型通常会接触到质量参差不齐的文本数据。尽管在训练中会对低质量或噪声样本进行过滤，但对噪声类型及其强度对下游性能影响的定量研究仍然较少。本文研究了链式思维（CoT）中的噪声如何影响在算法可解任务中的表现。我们开发了可生成高度可定制噪声执行轨迹的TInt框架，并定义了静态噪声和动态噪声两种类型。实验结果表明，微调模型对高水平的静态噪声具有极强的鲁棒性，但对较低水平的动态噪声则表现不佳，而少量提示的模型对静态噪声更为敏感。最后，讨论了这些发现对噪声过滤最佳实践的影响，强调了去除包含全球错误的动态噪声样本的重要性。

🔬 方法详解

问题定义：本文旨在研究大规模语言模型训练数据中的噪声对下游任务性能的影响，现有方法在噪声过滤方面存在不足，缺乏对不同噪声类型的定量分析。

核心思路：通过开发TInt框架，生成可定制的噪声执行轨迹，分析静态噪声和动态噪声对模型性能的影响，从而优化噪声过滤策略。

技术框架：整体流程包括生成噪声执行轨迹、定义噪声类型、评估模型在不同噪声数据集上的性能。主要模块包括噪声生成模块和性能评估模块。

关键创新：TInt框架的提出是本研究的核心创新，能够生成高度可定制的噪声轨迹，并明确区分静态和动态噪声的影响，与现有方法相比，提供了更细致的噪声分析。

关键设计：在噪声生成中，静态噪声是在CoT轨迹计算后应用的，而动态噪声则是在轨迹计算过程中传播的错误。实验中通过不同的噪声强度和类型评估模型性能，确保了结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，微调模型在高水平静态噪声下表现出极强的鲁棒性，而在低水平动态噪声下则显著下降。少量提示的模型对静态噪声的敏感性更高，强调了在噪声过滤过程中去除动态噪声样本的重要性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器学习模型的训练优化以及数据预处理。通过深入理解噪声对模型性能的影响，可以为实际应用中的数据清洗和模型训练提供指导，提升模型的鲁棒性和准确性。

📄 摘要（原文）

During both pretraining and fine-tuning, Large Language Models (\textbf{LLMs}) are trained on trillions of tokens of text of widely varying quality. Both phases of training typically involve heuristically filtering out ``low-quality'' or \textit{noisy} training samples, yet little is known quantitatively about how the type or intensity of noise affects downstream performance. In this work, we study how noise in chain of thought (\textbf{CoT}) impacts task performance in the highly-controlled setting of algorithmically solvable tasks. First, we develop the Traced Integer (\textbf{TInt}) framework to generate highly customizable noised execution traces for any arithmetic function on lists of integers. We then define two types of noise: \textit{static} noise, a local form of noise which is applied after the CoT trace is computed, and \textit{dynamic} noise, a global form of noise which propagates errors in the trace as it is computed. We then evaluate the test performance of pretrained models both prompted and fine-tuned on noised datasets with varying levels of dataset contamination and intensity. We find fine-tuned models are extremely robust to high levels of static noise but struggle significantly more with lower levels of dynamic noise. In contrast, few-shot prompted models appear more sensitive to even static noise. We conclude with a discussion of how our findings impact noise filtering best-practices, in particular emphasizing the importance of removing samples containing destructive dynamic noise with global errors.