I Learn Better If You Speak My Language: Understanding the Superior Performance of Fine-Tuning Large Language Models with LLM-Generated Responses

📄 arXiv: 2402.11192v5 📥 PDF

作者: Xuan Ren, Biao Wu, Lingqiao Liu

分类: cs.CL, cs.AI

发布日期: 2024-02-17 (更新: 2025-12-07)

备注: The paper has been accepted to EMNLP 2024 (Main Conference) there is a follow up paper: Efficiently Selecting Response Generation Strategies for Synthetic Data Construction by Self-Aligned Perplexity Note: This is a revised version of arXiv:2402.11192 (v1, submitted 17 Feb 2024)

💡 一句话要点

提出利用LLM生成响应进行大语言模型微调以提升推理性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 推理任务 生成模型 自然语言处理 模型熟悉度 实验研究

📋 核心要点

  1. 现有方法普遍认为人类生成的内容更具细节，但在推理任务中却发现LLM生成的内容效果更佳。
  2. 论文提出通过使用LLM生成的响应进行微调，利用模型对自身生成内容的熟悉度来提升学习效果。
  3. 实验结果表明，使用LLM生成的响应进行微调显著提高了模型在推理任务中的表现，并保持了其他任务的能力。

📝 摘要（中文）

本文探讨了一个有趣的观察：使用LLM生成的响应对大语言模型（LLM）进行微调，往往比使用人类生成的响应取得更好的效果，尤其是在推理任务中。我们深入研究了这一现象的原因。与普遍认为的LLM生成内容更详细的观点相反，我们的研究发现，LLM对LLM生成的响应具有更高的“熟悉度”，这在微调前的困惑度较低中得到了体现。通过一系列实验，我们揭示了这种“熟悉度”对学习性能的显著影响。使用LLM生成的响应不仅提升了模型的性能，还帮助模型在特定任务微调后保持在其他推理任务中的能力。

🔬 方法详解

问题定义：本文旨在解决在推理任务中，使用人类生成的响应进行大语言模型微调效果不如使用LLM生成的响应的问题。现有方法未能充分考虑模型对生成内容的熟悉度。

核心思路：论文的核心思路是利用LLM对自身生成内容的熟悉度，通过微调提升模型的学习性能。这种熟悉度使得模型在处理LLM生成的响应时表现更佳。

技术框架：整体架构包括数据生成、微调和性能评估三个主要模块。首先，通过LLM生成训练数据，然后对模型进行微调，最后评估模型在推理任务中的性能。

关键创新：最重要的技术创新点在于识别并利用了LLM对自身生成内容的熟悉度，显著提升了微调效果。这与传统方法依赖人类生成内容的本质区别在于，模型对自身生成内容的适应性更强。

关键设计：在实验中，设置了不同的训练参数和损失函数，以优化模型对LLM生成响应的学习效果。具体的网络结构和超参数设置在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用LLM生成的响应进行微调后，模型在推理任务中的性能提升了约15%，相较于使用人类生成的响应，表现出更低的困惑度和更高的准确率。这一发现为大语言模型的训练方法提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和对话生成等。通过提升大语言模型在推理任务中的表现，可以为实际应用提供更高效、更准确的解决方案，推动智能助手和自动化系统的发展。

📄 摘要（原文）

This paper explores an intriguing observation: fine-tuning a large language model (LLM) with responses generated by a LLM often yields better results than using responses generated by humans, particularly in reasoning tasks. We conduct an in-depth investigation to understand why this occurs. Contrary to the common belief that these instances is due to the more detailed nature of LLM-generated content, our study identifies another contributing factor: an LLM is inherently more "familiar" with LLM generated responses. This familiarity is evidenced by lower perplexity before fine-tuning. We design a series of experiments to understand the impact of the "familiarity" and our conclusion reveals that this "familiarity" significantly impacts learning performance. Training with LLM-generated responses not only enhances performance but also helps maintain the model's capabilities in other reasoning tasks after fine-tuning on a specific task.