ALRA: Adaptive Local Relational Alignment for Logit-Based Pre-training Distillation of Autoregressive Language Models
作者: Quang Hoang Trung, Quang Huu Hieu, Nguyen Van Hoang Phuc, Vo Nguyen Le Duy
分类: stat.ML, cs.CL, cs.LG
发布日期: 2026-09-03
💡 一句话要点
提出自适应局部关系对齐方法解决语言模型蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 自适应对齐 语言模型 深度学习 自然语言处理
📋 核心要点
- 现有的基于logit的知识蒸馏方法忽视了候选标记之间的相对偏好，导致信息丢失。
- 本文提出自适应局部关系对齐（ALRA），通过结合学生的候选标记和教师的指导来优化蒸馏过程。
- 在多个零-shot基准测试中，ALRA在200M和500M参数的学生模型上分别提高了0.94和0.83个百分点的准确率。
📝 摘要（中文）
基于logit的知识蒸馏通常在整个词汇表上对教师和学生的下一个标记分布进行对齐，但这种全局目标忽视了可能标记替代品之间的相对偏好。现有的局部方法往往仅从教师或学生中选择候选标记，导致信息丢失。本文提出自适应局部关系对齐（ALRA），结合学生提议和教师指导，在每个有效预测位置，学生提出可能的标记，同时将教师的最可能标记作为锚点。实验结果表明，ALRA在多个基准测试中显著提高了模型的准确性。
🔬 方法详解
问题定义：本文解决的是基于logit的知识蒸馏在对齐教师和学生模型的下一个标记分布时，忽视了候选标记之间的相对偏好这一问题。现有方法往往仅依赖教师或学生的选择，导致潜在信息的丢失。
核心思路：提出自适应局部关系对齐（ALRA），通过在每个有效预测位置结合学生的候选标记和教师的最可能标记作为锚点，来实现更精确的对齐。该方法强调了相对偏好的重要性，并通过自适应调整选择的标记数量来优化蒸馏过程。
技术框架：ALRA的整体架构包括两个主要模块：学生提议模块和教师指导模块。在每个预测位置，学生首先提出可能的标记，然后教师提供最可能的标记作为锚点，最后通过自适应局部发散来优化相对标记分布。
关键创新：ALRA的核心创新在于结合了学生的候选标记和教师的指导，避免了传统方法中仅依赖单一来源的信息丢失。此外，采用了自适应局部发散来保留质量匹配项，并分别匹配选定和剩余词汇区域的相对标记分布。
关键设计：在损失函数设计上，ALRA使用单位系数替代教师质量系数，防止低概率区域的标记被低估。同时，学生加权成对关系对齐强调了高概率标记对的相对重要性，减少了对不太可能或明显分离标记对的权重。
🖼️ 关键图片
📊 实验亮点
在对比实验中，ALRA在200M和500M参数的学生模型上分别取得了36.62%和37.40%的平均准确率，超越了最强竞争蒸馏基线0.94和0.83个百分点，同时在无蒸馏的预训练上分别提高了2.31和2.91个百分点。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的模型蒸馏、文本生成和对话系统等。通过提高语言模型的蒸馏效率，ALRA可以在资源受限的环境中实现更高效的模型部署，具有重要的实际价值和未来影响。
📄 摘要（原文）
Logit-based knowledge distillation for autoregressive language models usually aligns teacher and student next-token distributions over the entire vocabulary. However, this global objective overlooks relative preferences among likely token alternatives. Existing local approaches often select candidate tokens from either the teacher or the student alone. Teacher-only selection can miss tokens that the student considers likely, while student-only selection can rely on an inaccurate ranking early in training. We propose Adaptive Local Relational Alignment (ALRA), a position-specific framework combining student proposals with teacher guidance. At each valid prediction position, the student proposes likely tokens, while the teacher's most probable token is included as an anchor. ALRA adjusts the number of selected tokens according to how broadly the teacher distributes probability within this candidate set relative to the current batch. Adaptive Local Divergence retains the mass-matching term and separately matches the relative token distributions within the selected and remaining vocabulary regions. Unlike the exact full-vocabulary decomposition, it replaces the teacher-mass coefficients of the two conditional terms with unit coefficients, preventing either term from being downweighted solely because its region has low teacher probability. Student-Weighted Pairwise Relational Alignment emphasizes high-probability token pairs with small student probability gaps and gives less weight to unlikely or clearly separated pairs. Experiments on The Pile with randomly initialized 200M- and 500M-parameter students across nine zero-shot benchmarks yield average accuracies of 36.62% and 37.40%. ALRA exceeds the strongest competing distillation baseline by 0.94 and 0.83 percentage points and improves over pre-training without distillation by 2.31 and 2.91 points, respectively.