DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

📄 arXiv: 2606.30345v1 📥 PDF

作者: Haisen Luo, Yiwei Liu, Haoning Wang, Dan Liu, Junxi Yin, Haotian Wang, Lei Zhang, Xiaoyu Tian, Shuaiting Chen, Yuansheng Song, Baoyan Guo, Xiongfei Yan, Bolan Yang, Chengwei Liu, Ming Cui, Jiong Chen

分类: cs.LG, cs.AI

发布日期: 2026-06-29

💡 一句话要点

提出DRIFT框架以解决大语言模型自我改进中的学习进度跟踪问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我蒸馏 强化学习 困难路由 节奏门控 课程学习 大语言模型 推理任务

📋 核心要点

  1. 现有自蒸馏和强化学习方法缺乏有效的学习进度跟踪机制，导致模型在训练中未能充分探索复杂问题。
  2. DRIFT框架通过困难路由和节奏门控机制，动态调整自蒸馏和强化学习信号，优化模型的学习过程。
  3. 在五个基准测试和三种模型规模的评估中，DRIFT在所有评估指标上超越了GRPO和SDPO，平均得分达到79.5%。

📝 摘要（中文）

在复杂推理任务中，使大型语言模型在没有外部专家监督的情况下实现稳定的自我改进仍然是一个核心挑战。现有的自蒸馏和强化学习方法缺乏明确的机制来跟踪问题级别的学习进展并相应地调整优化策略。因此，训练可能会过度优化简单问题，难题的监督信号较弱，且未能充分探索边界案例。为了解决这些问题，本文提出了DRIFT，一个在线自我演化策略优化框架。DRIFT通过困难路由和节奏门控的联合使用来调节模型的自我改进过程，前者识别模型在问题级别的学习状态并动态分配自蒸馏和强化学习信号，后者则在标记级别上精炼策略更新，集中探索关键推理位置。通过进一步结合成功缓冲区和两阶段课程学习策略，DRIFT保留高质量的历史经验，同时逐步引导模型从可靠行为获取到稳定的策略演变。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在复杂推理任务中的自我改进问题，现有方法在学习进度跟踪和优化策略调整方面存在不足，导致模型未能有效应对难度不同的问题。

核心思路：DRIFT框架的核心思路是通过困难路由和节奏门控机制，动态调整模型的学习信号，确保模型在不同难度问题上获得适当的自蒸馏和强化学习反馈，从而提升学习效率和效果。

技术框架：DRIFT的整体架构包括困难路由模块、节奏门控模块、成功缓冲区和两阶段课程学习策略。困难路由模块负责识别模型的学习状态并分配信号，节奏门控模块则在标记级别上优化策略更新。成功缓冲区用于保留高质量的历史经验。

关键创新：DRIFT的主要创新在于结合了困难路由和节奏门控机制，使得模型能够在问题级别和标记级别上进行更精细的学习调节，与传统方法相比，显著提升了模型的自我改进能力。

关键设计：在DRIFT中，关键设计包括动态调整的损失函数和信号分配策略，以确保模型在不同难度问题上获得适当的学习反馈。此外，成功缓冲区的设计使得模型能够利用历史经验进行有效的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DRIFT在五个基准测试中表现优异，平均得分达到79.5%，比GRPO高出9.5%，比SDPO高出7.5%。在ToolUse任务中，DRIFT的准确率达到79.2%，较GRPO提升13.5%，较SDPO提升10.7%，创造了新的最优结果。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和自动化推理等。通过提升大型语言模型的自我改进能力，DRIFT能够在复杂推理任务中提供更高的准确性和稳定性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Enabling large language models to achieve stable self-improvement without external expert supervision remains a central challenge in complex reasoning tasks. Existing self-distillation and reinforcement learning methods lack explicit mechanisms for tracking problem-level learning progress and adapting optimization strategies accordingly. Consequently, training may over-optimize easy problems, receive weak supervision from hard problems, and fail to sufficiently explore borderline cases. To resolve these issues, we propose DRIFT, an online self-evolution policy optimization framework for large language models. DRIFT regulates the model's self-improvement process through the joint use of Difficulty Routing and Rhythm Gating. The former identifies the model's learning state at the problem level and dynamically allocates self-distillation and reinforcement learning signals, while the latter refines policy updates at the token level, concentrating exploration on critical reasoning positions. By further incorporating a success buffer and a two-stage curriculum learning strategy, DRIFT preserves high-quality historical experience while progressively guiding the model from reliable behavior acquisition toward stable policy evolution. Evaluated across five benchmarks and three model scales, DRIFT surpasses the peak performance of both GRPO and SDPO across all evaluated metrics. On the average score over the five benchmarks, DRIFT achieves 79.5$\%$, outperforming GRPO by 9.5$\%$ and SDPO by 7.5$\%$, establishing a new state-of-the-art result. Notably, on ToolUse, DRIFT reaches an accuracy of 79.2$\%$, improving over GRPO by 13.5$\%$ and SDPO by 10.7$\%$, setting a new state-of-the-art and substantially outperforming all concurrent methods.