Truncate Bad, Upweight Good: BoN-Style Distillation via Rank-Based Classification

📄 arXiv: 2608.19748v1 📥 PDF

作者: Yarin Bar, Yaniv Romano

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-08-20

💡 一句话要点

提出TUP策略以解决低排名样本影响的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 蒸馏训练 生成模型 排名策略 机器学习 自然语言处理

📋 核心要点

  1. 现有的基于排名的蒸馏策略在处理低排名样本时存在不足，低排名样本虽然权重降低但仍然影响最终结果。
  2. 本文提出的TUP策略通过去除低排名样本并对高排名样本进行锐化重加权，旨在提高生成质量和效率。
  3. 实验结果显示，TUP在多个基准测试中表现优异，能够与强大的离线对齐基线相媲美，验证了其有效性。

📝 摘要（中文）

推理时选择方法如Best-of-N通过从候选池中采样并根据奖励模型选择排名最高的结果来改善生成效果。蒸馏旨在通过用池内排名替代原始奖励来简化这一过程，并学习一个加权更高排名结果的策略。然而，现有的基于排名的策略通常使用平滑的全支持重加权，导致低排名结果虽然质量较差但仍然保留在目标支持中。本文提出TUP策略，通过去除低排名结果并仅对保留的高排名结果进行可调的锐化重加权，来解决这一问题。TUP允许闭式、与提示无关的归一化，并可以通过二元交叉熵完全离线训练，使用偏移的截断胜率作为软标签，蒸馏到参考的对数似然比作为logits。理论上，在某些假设下，我们证明对于任何未知的oracle奖励，最佳的单调排名重加权可以通过下尾截断规则来匹配，为去除下尾而非仅仅降低其权重提供了正式支持。实证结果表明，TUP在强离线对齐基线中表现竞争力。

🔬 方法详解

问题定义：本文旨在解决现有基于排名的蒸馏方法在处理低排名样本时的不足，尤其是低排名样本对最终生成结果的负面影响。现有方法通常仅通过降低低排名样本的权重来处理这一问题，但未能有效去除这些低质量样本。

核心思路：论文提出的TUP策略通过截断低排名样本，完全去除其对生成结果的影响，并对保留的高排名样本进行可调的锐化重加权，从而提高生成质量和模型的鲁棒性。

技术框架：TUP策略的整体架构包括样本选择、重加权和训练三个主要模块。首先，通过设定阈值去除低排名样本；其次，对剩余的高排名样本进行重加权；最后，使用二元交叉熵进行离线训练。

关键创新：TUP的主要创新在于其截断机制，允许模型在训练时完全去除低排名样本，而不仅仅是降低其权重。这一设计显著提高了模型对高质量样本的依赖性，减少了对单一奖励模型的脆弱性。

关键设计：在TUP中，使用了可调的锐化参数来控制重加权的强度，损失函数采用二元交叉熵，网络结构则基于现有的生成模型进行调整，以适应新的训练目标。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TUP在多个基准测试中表现出色，能够在生成质量上超越传统的蒸馏方法，尤其是在处理低质量样本时。与强离线对齐基线相比，TUP在生成准确性和鲁棒性上均有显著提升，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言生成、对话系统和文本摘要等任务。通过提高生成质量，TUP策略能够在实际应用中显著提升用户体验，尤其是在需要高质量输出的场景中，如内容创作和自动化客服等。未来，该方法可能会推动更高效的生成模型设计和应用。

📄 摘要（原文）

Inference-time selection methods, such as Best-of-N, improve generation by sampling a pool of candidates and selecting the top-ranked completion according to a reward model. Distillation seeks to amortize this procedure into a single policy by replacing raw rewards with in-pool ranks and learning a policy that upweights higher-ranked completions. However, existing rank-based policies typically use smooth full-support reweighting, so low-ranked completions receive less mass but remain in the target support. Although a sharper reweighting reduces lower-tail mass, it also increases reliance on brittle ranking at the top made by a single reward model. We propose TUP: a Truncate-bad, Upweight-good Policy that removes low-ranked completions from the support and reweights only the retained upper tail with a tunable sharpness. TUP admits a closed-form, prompt-independent normalization and can be trained fully offline via binary cross-entropy, using shifted-truncated win-rates as soft labels and distilled-to-reference log-likelihood ratios as logits. Theoretically, under certain assumptions, we show that for any unknown oracle reward, the best monotone rank-reweighting can be matched by a lower-tail truncation rule, providing formal support for removing the lower tail rather than merely downweighting it. Empirically, we show that TUP is competitive with strong offline alignment baselines.