ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation

📄 arXiv: 2606.29869v1 📥 PDF

作者: Zilong Liu, Xuewen Zhang, Jinrui Xing, Juyi Qiao, Huiyong Wang, Junming Jiao

分类: cs.CL, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出自适应强化学习指导的双向KL散度蒸馏以提升文本生成质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 强化学习 KL散度 文本生成 长尾建模 模型压缩 自然语言处理

📋 核心要点

  1. 现有的知识蒸馏方法通常依赖单一的KL散度目标，难以同时处理主要分布和长尾分布，导致生成质量下降。
  2. 本文提出了一种自适应的KL加权蒸馏框架，利用强化学习动态调整正向和反向KL散度的权重，以实现更好的分布对齐。
  3. 实验结果显示，所提方法在Rouge-L和BertScore指标上均有显著提升，超越了现有的贪婪启发式方法和其他基线方法。

📝 摘要（中文）

知识蒸馏（KD）是压缩大型语言模型（LLMs）的关键技术，但依赖单一KL目标的方法往往无法平衡主要分布拟合与长尾概率建模，限制了生成质量和泛化能力。为此，本文从理论和经验角度分析了正向和反向KL散度在分布对齐中的互补作用，提出了一种基于强化学习的自适应KL加权蒸馏框架，其中策略网络根据教师-学生分布特征动态分配正向和反向KL的权重，借助即时奖励信号实现对主要模式和长尾模式的双重对齐。大量实验表明，在Rouge-L和BertScore指标上均有一致性提升，超越贪婪启发式方法0.4-0.6分，并在多样基准上优于其他基线方法。

🔬 方法详解

问题定义：本文旨在解决现有知识蒸馏方法在处理主要分布与长尾分布时的不足，尤其是单一KL目标导致的生成质量和泛化能力的限制。

核心思路：通过分析正向和反向KL散度的互补作用，提出一种基于强化学习的自适应KL加权蒸馏框架，以动态调整权重，实现对主要模式和长尾模式的双重对齐。

技术框架：该框架包括一个策略网络，用于根据教师和学生模型的分布特征动态分配正向和反向KL散度的权重，并通过即时奖励信号指导学习过程。

关键创新：最重要的创新在于引入了强化学习机制，使得KL散度的权重能够根据模型的实际表现进行自适应调整，从而实现更有效的知识蒸馏。

关键设计：在技术细节上，设计了特定的损失函数以结合正向和反向KL散度，并通过策略网络的训练来优化权重分配，确保对主要模式和长尾模式的有效对齐。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的自适应KL加权蒸馏方法在Rouge-L和BertScore指标上均有显著提升，超越贪婪启发式方法0.4-0.6分，并在多样基准测试中优于其他基线方法，显示出其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统以及机器翻译等。通过提升大型语言模型的生成质量和泛化能力，能够在实际应用中提供更为流畅和自然的交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Knowledge distillation (KD) is a key technique for compressing Large Language Models (LLMs), yet methods relying on a single KL objective often fail to balance primary distribution fitting with long-tail probability modeling, limiting both generation quality and generalization. To address this, we analyze the complementary roles of forward and reverse KL divergence (FKL/RKL) in distribution alignment from theoretical and empirical perspectives. We then propose a reinforcement-learning-based adaptive KL-weighted distillation framework, in which a policy network dynamically assigns weights to FKL and RKL based on teacher-student distributional characteristics, guided by immediate reward signals to achieve dual alignment on principal and long-tail modes. Extensive experiments demonstrate consistent improvements across Rouge-L and BertScore metrics, surpassing greedy heuristics by 0.4-0.6 points and outperforming other baseline methods on diverse benchmarks.