$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge

📄 arXiv: 2505.01812v3 📥 PDF

作者: Core Francisco Park, Zechen Zhang, Hidenori Tanaka

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-05-03 (更新: 2025-11-14)

💡 一句话要点

提出System-2微调方法以解决新知识整合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识整合 微调方法 自我生成数据 上下文学习 智能问答 教育技术

📋 核心要点

  1. 现有方法在将新信息有效整合到模型权重方面存在显著挑战，导致微调效果不佳。
  2. 论文提出System-2微调（Sys2-FT）方法，通过自我生成数据协议来增强模型对新知识的内化能力。
  3. 实验结果表明，Sys2-FT的Self-QA协议显著提升了模型的学习效果，尤其是在处理新信息时。

📝 摘要（中文）

人类和智能动物能够内化新信息并准确理解其含义以执行下游任务。尽管大型语言模型（LLMs）可以通过上下文学习（ICL）来实现这一点，但通过微调将信息有效整合到模型权重中仍然具有挑战性。本文提出了New News数据集，包含多个领域的假设性新闻及其相关的下游评估问题。我们展示了天真微调与上下文学习之间的显著差距，并提出了一系列自我生成数据的协议，称为System-2微调（Sys2-FT），以缩小这一差距。实验表明，Sys2-FT的Self-QA协议显著提升了模型对新闻的内在学习，同时保持了模型的通用能力。

🔬 方法详解

问题定义：论文要解决的问题是如何有效地将新知识整合到大型语言模型的权重中。现有的微调方法在这一方面表现不佳，无法充分利用上下文信息。

核心思路：论文提出了System-2微调（Sys2-FT）方法，利用自我生成的数据协议（如同义句、推理和自问自答）来增强模型的知识内化能力。这样的设计旨在通过多样化的训练数据来提升模型的学习效果。

技术框架：整体架构包括数据生成、模型训练和评估三个主要阶段。首先生成包含新知识的训练数据，然后使用这些数据进行模型的微调，最后通过下游任务评估模型的性能。

关键创新：最重要的技术创新点是Self-QA协议，它显著提高了模型对新知识的内在学习能力，同时保持了模型的通用性。与传统的微调方法相比，Sys2-FT能够更有效地整合信息。

关键设计：在关键设计方面，论文详细讨论了数据生成的策略、损失函数的选择以及模型结构的调整，以确保模型能够在多种领域中有效学习新知识。

📊 实验亮点

实验结果显示，使用Sys2-FT的Self-QA协议后，模型在新知识的内在学习上取得了显著提升，尤其是在多个领域的下游任务中表现优异。与传统微调方法相比，模型的性能提升幅度达到了XX%。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、教育技术和自动化内容生成等。通过有效整合新知识，模型能够更好地适应不断变化的信息环境，提升其在实际应用中的表现和可靠性。

📄 摘要（原文）

Humans and intelligent animals can internalize new information and accurately internalize their implications to perform downstream tasks. While large language models (LLMs) can achieve this through in-context learning (ICL) when the information (news) is explicitly given as context, adequately integrating the information into model weights via fine-tuning remains challenging. In this paper, we introduce New News, a dataset composed of hypothetical yet plausible news spanning multiple domains (mathematics, coding, discoveries, leaderboards, events), accompanied by downstream evaluation questions whose correct answers critically depend on understanding and internalizing the news. First, we demonstrate a substantial gap between naive fine-tuning and in-context learning (FT-ICL gap) on our dataset. To address this gap, we explore a suite of self-play data generation protocols -- paraphrases, implications, and Self-QA -- designed to distill the knowledge processed by the model with context into the weights of the model, which we term System-2 Fine-tuning (Sys2-FT). We systematically evaluate ICL and Sys2-FT performance across data domains and model scales with the Qwen 2.5 family of models. Our results demonstrate that the Self-QA protocol of Sys2-FT significantly improves models' in-weight learning of the news while preserving general capabilities. Furthermore, we discover the contextual shadowing effect, where training with the news in context followed by its rephrases or QAs catastrophically degrades learning of the news. Finally, we show preliminary evidence of an emerging scaling law of Sys2-FT.