LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

📄 arXiv: 2607.04733v1 📥 PDF

作者: Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang

分类: cs.CL, cs.LG

发布日期: 2026-07-06

备注: 21 pages, 3 figures. Code is available at https://github.com/Wakaka161/LP-SFT

💡 一句话要点

提出LP-SFT以解决语言模型微调中的能力退化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 监督微调 多模态熵 局部保留 语言模型 能力退化

📋 核心要点

  1. 现有的监督微调方法在提升目标领域性能时，常常导致预训练模型已有能力的退化。
  2. 论文提出LP-SFT，通过构建自适应的替代令牌支持集，显式保护预训练模型的局部偏好结构。
  3. 实验结果显示，LP-SFT在多领域和单领域微调中均优于传统SFT，提升了整体性能。

📝 摘要（中文）

监督微调（SFT）是将预训练语言模型适应下游领域的标准方法，但往往会在提升目标领域表现的同时导致已有能力的退化。标准的交叉熵微调只关注观察到的标签令牌，未能合理分配其他可能替代品的概率质量，可能扭曲预训练期间学习到的丰富局部偏好结构。我们分析了使用香农和瑞尼熵的下一个令牌预测，发现预训练模型展现出规律的多模态熵结构。基于这一观察，我们提出了LP-SFT，一种旨在显式保护这一固有熵结构的局部保留监督微调目标。实验表明，LP-SFT在多领域和单领域微调中均优于传统SFT和近期的SFT增强基线，取得了pass@1准确率与pass@k性能之间的最佳平衡。

🔬 方法详解

问题定义：论文要解决的问题是现有监督微调方法在提升目标领域性能时，往往会导致预训练模型已有能力的退化，特别是对多模态熵结构的破坏。

核心思路：论文的核心解决思路是引入局部保留的监督微调目标LP-SFT，旨在保护预训练模型的局部偏好结构，通过自适应支持集来维护替代令牌之间的相对关系。

技术框架：LP-SFT的整体架构包括构建替代令牌的自适应支持集和应用局部归一化保留损失，确保在优化监督令牌的同时，保持替代令牌的相对结构。

关键创新：最重要的技术创新点在于引入局部保留损失，显式维护预训练模型的多模态熵结构，这与传统的交叉熵微调方法形成了本质区别。

关键设计：在损失函数设计上，LP-SFT采用局部归一化保留损失，确保在每一步优化中，替代令牌的相对概率分布得到保留，同时独立优化监督令牌。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LP-SFT在多领域和单领域微调中均显著优于传统的SFT方法和其他增强基线，具体表现为在pass@1准确率和pass@k性能之间达到了最佳平衡，显示出局部保留对能力退化的有效缓解。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和信息检索等。通过有效保护预训练模型的能力，LP-SFT能够在多种下游任务中提供更稳定和高效的性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Supervised fine-tuning (SFT) is the standard approach for adapting pretrained language models to downstream domains, yet it often improves target-domain behavior at the cost of degrading pre-existing capabilities. Standard cross-entropy fine-tuning promotes only the observed label token and leaves unconstrained how probability mass is redistributed over other plausible alternatives, potentially distorting the rich local preference structure learned during pretraining. We first analyze next-token predictions using Shannon and Renyi entropies, revealing that pretrained models exhibit a regular multimodal entropy structure. These entropy peaks correspond to varying numbers of plausible alternatives, indicating that the base model intrinsically encodes rich distributional knowledge beyond the single supervised token. Motivated by this observation, we propose LP-SFT, a Local-Preserving Supervised Fine-Tuning objective designed to explicitly protect this inherent entropy structure. At each step, LP-SFT constructs an adaptive support of alternative tokens and applies a locally normalized preservation loss to maintain the base model's relative structure among them, while standard cross-entropy independently optimizes the supervised token. Across mixed-domain and single-domain fine-tuning experiments, LP-SFT improves overall performance over vanilla SFT and recent SFT-enhancement baselines, achieving the best balance between pass@1 accuracy and pass@k performance. These results suggest that local preservation helps mitigate capability degradation without collapsing sampling-accessible diversity.