DEFT: Distribution-guided Efficient Fine-Tuning for Human Alignment

📄 arXiv: 2604.01787v1 📥 PDF

作者: Liang Zhu, Feiteng Fang, Yuelin Bai, Longze Chen, Zhexiang Zhang, Minghuan Tan, Min Yang

分类: cs.CL

发布日期: 2026-04-02

💡 一句话要点

DEFT：一种分布引导的高效微调方法，用于提升LLM的人类对齐能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类对齐 大型语言模型 高效微调 分布引导 差分分布奖励

📋 核心要点

  1. RLHF等方法虽然能对齐LLM与人类价值观，但成本高昂且不稳定，其他直接微调方法需要大量数据，并可能削弱LLM的泛化能力。
  2. DEFT框架通过差分分布奖励进行数据过滤和分布引导，筛选高质量数据子集，并将其融入现有对齐方法，引导模型输出分布。
  3. 实验结果表明，DEFT增强的方法在对齐能力和泛化能力上优于原始方法，同时显著减少了训练时间。

📝 摘要（中文）

本文提出了一种名为分布引导的高效微调（DEFT）框架，旨在提升大型语言模型（LLM）与人类价值观对齐的效率和性能，同时减轻泛化能力损失。DEFT通过计算语言模型的输出分布和偏好数据差异分布之间的差分分布奖励，来进行数据过滤和分布引导。该方法首先使用差分分布奖励从原始数据中筛选出一个小而高质量的子集，然后将其融入现有的对齐方法中，以引导模型的输出分布。实验结果表明，DEFT增强的方法在对齐能力和泛化能力方面均优于原始方法，并且显著减少了训练时间。

🔬 方法详解

问题定义：现有基于PPO的RLHF方法以及其他直接微调方法，在将大型语言模型与人类价值观对齐时，面临着训练成本高、不稳定、需要大量数据以及可能损害模型泛化能力的问题。论文旨在解决如何在减少训练数据量和训练时间的同时，提升对齐效果并保持模型的泛化能力。

核心思路：论文的核心思路是利用模型输出分布和人类偏好数据分布的差异，设计一种差分分布奖励，以此来指导数据选择和模型微调。通过选择更符合人类偏好分布的数据进行训练，并引导模型的输出分布向人类偏好分布靠拢，从而提高对齐效率和效果。

技术框架：DEFT框架主要包含两个阶段：数据过滤阶段和分布引导微调阶段。在数据过滤阶段，首先计算语言模型的输出分布和偏好数据分布的差异，得到差分分布奖励，然后根据该奖励对原始数据进行筛选，得到一个高质量的数据子集。在分布引导微调阶段，将筛选后的数据子集融入到现有的对齐方法中，利用差分分布奖励引导模型的输出分布，从而实现高效的对齐。

关键创新：DEFT的关键创新在于提出了差分分布奖励的概念，并将其应用于数据过滤和分布引导。这种方法能够有效地利用少量数据，提升对齐效果，并保持模型的泛化能力。与传统的RLHF方法和直接微调方法相比，DEFT更加高效和稳定。

关键设计：差分分布奖励的计算是关键。具体而言，需要定义语言模型的输出分布和偏好数据分布，并选择合适的距离度量方法来计算它们之间的差异。此外，数据过滤的阈值和分布引导微调的学习率等参数也需要仔细调整，以达到最佳的对齐效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DEFT框架能够显著提升现有对齐方法的性能。例如，在相同的训练数据量下，DEFT增强的方法在对齐能力方面提升了X%，在泛化能力方面提升了Y%。此外，DEFT还能够显著减少训练时间，例如，在达到相同的对齐效果时，DEFT增强的方法可以将训练时间缩短Z%。这些结果表明，DEFT是一种高效且有效的对齐方法。

🎯 应用场景

DEFT框架可应用于各种需要将大型语言模型与人类价值观对齐的场景，例如对话系统、文本生成、内容审核等。该方法能够降低对齐成本，提升对齐效果，并保持模型的泛化能力，具有广泛的应用前景和实际价值。未来，DEFT可以进一步扩展到多模态场景，并与其他对齐技术相结合，以实现更高效、更鲁棒的人类对齐。

📄 摘要（原文）

Reinforcement Learning from Human Feedback (RLHF), using algorithms like Proximal Policy Optimization (PPO), aligns Large Language Models (LLMs) with human values but is costly and unstable. Alternatives have been proposed to replace PPO or integrate Supervised Fine-Tuning (SFT) and contrastive learning for direct fine-tuning and value alignment. However, these methods still require voluminous data to learn preferences and may weaken the generalization ability of LLMs. To further enhance alignment efficiency and performance while mitigating the loss of generalization ability, this paper introduces Distribution-guided Efficient Fine-Tuning (DEFT), an efficient alignment framework incorporating data filtering and distributional guidance by calculating the differential distribution reward based on the output distribution of language model and the discrepancy distribution of preference data. A small yet high-quality subset is filtered from the raw data using a differential distribution reward, which is then incorporated into existing alignment methods to guide the model's output distribution. Experimental results demonstrate that the methods enhanced by DEFT outperform the original methods in both alignment capability and generalization ability, with significantly reduced training time.