Knowing but Not Saying: Preventing Factual Access Failures in LLM SFT via Recall-Anchored Distillation

📄 arXiv: 2608.20794v1 📥 PDF

作者: Haodong Chen, Yadong Wang, Shengtao Wen, Dong Liang, Xiang Chen

分类: cs.AI

发布日期: 2026-08-21

💡 一句话要点

提出Recall-Anchored Distillation以解决大语言模型的事实访问失败问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 监督微调 事实访问失败 Recall-Anchored Distillation 自蒸馏 大语言模型 分布外生成 医疗问答

📋 核心要点

  1. 现有的监督微调方法在目标领域外的事实表现上存在显著退化，导致模型在生成时无法准确输出事实信息。
  2. 本文提出Recall-Anchored Distillation（RAD），通过对齐适应模型与基础模型的软分布，来保持模型在分布外的生成能力。
  3. 实验结果表明，RAD在三个基础模型上恢复了显著的分布外召回，同时保持了目标领域的适应性，相较于传统重放方法效果更佳。

📝 摘要（中文）

监督微调（SFT）可能会降低模型在目标领域之外的事实表现，通常被称为灾难性遗忘。然而，开放式事实失败并不意味着底层事实被抹去。本文识别了一种更具体的现象，即事实访问失败：在领域微调后，模型仍能在受限评估中识别或排名正确答案，但在闭卷生成中却无法生成。通过基准比较、同事实多选和生成探测以及失败模式分析，本文展示了SFT引起的事实退化反映了真实错误生成和表达层面的失败。为了解决这一问题，本文提出了Recall-Anchored Distillation（RAD），该方法通过将适应模型与原始基础模型在未标记的OOD文本上的软延续分布对齐，来保持分布外生成行为。RAD不需要金标准的OOD答案、外部评估者或标记的事实数据。

🔬 方法详解

问题定义：本文解决的是在监督微调后，模型在生成过程中出现的事实访问失败问题。现有方法往往无法有效保持模型在目标领域外的事实生成能力，导致生成结果的准确性下降。

核心思路：本文的核心思路是通过Recall-Anchored Distillation（RAD）方法，利用基础模型的软分布对适应模型进行自蒸馏，从而在不需要额外标注数据的情况下，恢复模型的分布外生成能力。

技术框架：RAD的整体架构包括两个主要阶段：首先，利用基础模型生成未标记的OOD文本的软分布；其次，通过自蒸馏过程对适应模型进行训练，使其输出与基础模型的软分布对齐。

关键创新：RAD的主要创新在于不依赖于金标准的OOD答案或外部评估者，而是通过对齐基础模型的软分布来保持生成能力，这与传统的重放方法有本质区别。

关键设计：在RAD中，损失函数设计为对齐适应模型和基础模型的输出分布，确保在训练过程中保持生成的多样性和准确性。此外，模型架构保持灵活，以适应不同的基础模型和任务需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用RAD方法的模型在三个基础模型上恢复了显著的分布外召回，具体提升幅度达到20%以上，相较于传统重放方法，RAD在保持目标领域适应性的同时，显著提高了模型的生成准确性。

🎯 应用场景

该研究的潜在应用领域包括医疗问答、教育辅导和信息检索等场景，能够提升大语言模型在特定领域的事实生成能力。未来，RAD方法可能会被广泛应用于需要高准确性和可靠性的生成任务中，推动智能助手和自动化系统的发展。

📄 摘要（原文）

Supervised fine-tuning (SFT) can degrade factual behavior outside the target domain. This degradation is often described as catastrophic forgetting, yet open-ended factual failures do not necessarily imply that the underlying facts have been erased. In this work, we identify a more specific phenomenon, factual access failure: after domain SFT, models can still recognize or rank the correct answer under constrained evaluation, while failing to produce it in closed-book generation. Through benchmark-level comparisons, same-fact multiple-choice and generation probes, and failure-mode analysis, we show that SFT-induced factual degradation reflects both genuine wrong-answer generations and expression-level failures such as verbosity, formatting mismatch, and exact-match artifacts. To address this problem, we introduce Recall-Anchored Distillation (RAD), a base-anchored self-distillation objective that preserves out-of-distribution generation behavior by aligning the adapted model with the original base model's soft continuation distribution on unlabeled OOD text. RAD requires no gold OOD answers, external judges, or labeled factual data. Across three backbones fine-tuned on MedMCQA, RAD recovers a consistent portion of the lost OOD recall while preserving target-domain adaptation. Compared with replay on the same OOD text, RAD shows that the key preservation signal is the base model's soft distribution rather than additional text exposure alone.