CROP: Task Relevance via Counterfactuals for Selective On-Policy Distillation

📄 arXiv: 2608.13387v1 📥 PDF

作者: Enhan Li, Junhao He, Hongyang Du

分类: cs.CL

发布日期: 2026-08-13

💡 一句话要点

提出CROP以解决选择性在线蒸馏中的任务相关性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 在线蒸馏 任务相关性 反事实学习 同义重写 模型蒸馏

📋 核心要点

  1. 现有的在线蒸馏方法对响应标记的监督价值分配不均，未能有效利用任务相关性。
  2. CROP通过构建原始-同义-反事实三元组，利用反事实敏感性来优化监督位置的选择。
  3. 实验结果显示，CROP在两个教师-学生设置中分别提高了1.92和2.96点的性能，优于现有选择器。

📝 摘要（中文）

在线蒸馏（OPD）通过从当前策略采样的轨迹来监督学生语言模型，但对响应标记的监督价值分配不均。选择性OPD通过根据响应标记的训练价值非均匀分配监督来解决这一问题。然而，现有标准主要关注优化需求，任务相关性，即监督与当前输入的语义内容的关系，尚未得到充分表征。为此，本文提出了基于反事实的任务相关性方法CROP，通过校准的反事实敏感性边际来操作化任务相关性。CROP构建了验证的原始-同义-反事实三元组，固定学生的回滚，测量每个响应位置对任务相关条件变化的敏感性。实验结果表明，CROP在两个教师-学生设置中分别提高了1.92和2.96点的整体性能，支持任务相关性作为选择性OPD的补充标准。

🔬 方法详解

问题定义：本文旨在解决在线蒸馏中对响应标记监督价值分配不均的问题，现有方法未能充分考虑任务相关性对监督的影响。

核心思路：CROP通过构建原始-同义-反事实三元组，利用反事实敏感性来评估每个响应位置的任务相关性，从而优化监督位置的选择。

技术框架：CROP的整体架构包括三个主要模块：原始输入、同义输入和反事实输入，固定学生模型的回滚，评估每个响应位置的敏感性。

关键创新：CROP的核心创新在于引入了反事实敏感性和同义校准，作为选择性在线蒸馏中的任务相关性评估标准，与传统方法相比，提供了更为精确的监督位置选择。

关键设计：CROP设计了特定的损失函数来衡量反事实敏感性，并通过同义重写来校准任务相关性，确保模型在训练过程中能够有效利用这些信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CROP在两个教师-学生设置中分别提高了1.92和2.96点的整体性能，显著优于最强的非CROP选择器，验证了任务相关性作为选择性在线蒸馏的有效补充标准。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型蒸馏、对话系统和文本生成等任务。通过优化监督位置的选择，CROP能够提高模型的学习效率和最终性能，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

On-policy distillation (OPD) supervises a student language model on trajectories sampled from its current policy, but assigns equal credit to response tokens with unequal supervision value. Selective OPD addresses this limitation by allocating supervision non-uniformly across response tokens according to their estimated training value. Most existing criteria, however, focus primarily on optimization need, such as uncertainty or teacher-student disagreement, while task relevance, namely whether the supervision is tied to the semantic content of the current input, remains less directly characterized as a complementary dimension. To address this gap, we introduce Counterfactual Relevance for On-Policy Distillation (CROP), which operationalizes task relevance through a paraphrase-calibrated counterfactual sensitivity margin. For each source prompt, CROP constructs a validated original-paraphrase-counterfactual triplet, holds the student rollout fixed, and measures each response position by its sensitivity to a task-relevant condition change calibrated by its sensitivity to a meaning-preserving rewrite. Matched selection controls show that CROP identifies more useful supervision positions than random or lowest-relevance selection, while component comparisons confirm the value of both counterfactual sensitivity and paraphrase calibration. Across two teacher-student settings, CROP improves aggregate performance by 1.92 and 2.96 points over the strongest non-CROP selector. These results support task relevance as a complementary criterion for selective OPD and establish CROP as a model-internal, contrast-specific method for allocating token-level supervision.