Self-Improvement with Auxiliary Rewards: Learning from Verified Traces and Evaluating Transfer

📄 arXiv: 2610.41296v1 📥 PDF

作者: Minju Gwak, Alan Ritter

分类: cs.AI

发布日期: 2026-10-30

备注: 28 pages, Work in Progress

💡 一句话要点

提出辅助奖励机制以提升小语言模型自我改进能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小语言模型 自我改进 辅助奖励 迁移学习 推理轨迹

📋 核心要点

  1. 核心问题：现有的答案级奖励无法有效区分多个正确答案的推理轨迹，限制了模型的自我改进能力。
  2. 方法要点：提出使用辅助轨迹偏好，通过在线和离线训练提升小语言模型的自我改进和迁移能力。
  3. 实验或效果：UID-Conj.在多个基准测试中显著提升了模型性能，在线和离线实验均显示出优于传统方法的效果。

📝 摘要（中文）

现有的答案级奖励无法区分具有相同正确结果的推理轨迹。本文研究辅助轨迹偏好是否能在有限监督下改善小语言模型的自我改进和迁移能力。通过在线奖励增强和离线训练，我们比较了基于置信度的度量（SC）和结合全局熵变化与局部平滑性的熵基度量（UID-Conj.）。实验结果显示，UID-Conj.在适应基准和三个迁移基准上的在线宏平均提升了2.08个百分点，且在离线加权SFT中超越均匀加权的提升为1.93个百分点，显示出辅助偏好在同样正确的轨迹中能够揭示学习价值。

🔬 方法详解

问题定义：本文旨在解决现有答案级奖励无法区分同样正确的推理轨迹的问题。这种局限性导致模型在自我改进时无法充分利用所有正确答案的潜在学习价值。

核心思路：论文提出通过引入辅助轨迹偏好来改善小语言模型的自我改进能力。该方法旨在利用额外的奖励信号来引导模型学习更优的推理轨迹，从而提高其在有限监督下的表现。

技术框架：整体架构包括在线奖励增强和离线训练两个阶段。在在线阶段，模型根据辅助奖励进行实时调整；在离线阶段，利用历史数据进行模型的进一步优化。

关键创新：最重要的技术创新在于提出了UID-Conj.度量，它结合了全局熵变化和局部平滑性，能够更有效地评估推理轨迹的质量。这一方法与传统的奖励机制相比，能够更好地捕捉到同样正确答案之间的细微差别。

关键设计：在实验中，采用了基于置信度的度量（SC）和UID-Conj.作为主要的奖励机制。通过对比实验，发现UID-Conj.在多个任务中表现出更强的训练效果，尤其是在需要遵循指令的场景中。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，UID-Conj.在适应基准和三个迁移基准上的在线宏平均提升了2.08个百分点，且在离线加权SFT中超越均匀加权的提升为1.93个百分点，表明该方法在多个任务中均表现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过提升小语言模型的自我改进能力，能够在实际应用中实现更高的准确性和用户满意度，推动智能系统的进一步发展。

📄 摘要（原文）

Answer-level rewards cannot distinguish reasoning traces with equally correct outcomes. We study whether auxiliary trajectory preferences improve small-language-model self-improvement and transfer under limited supervision. We compare confidence-based (SC) and entropy-based metrics (UID-Conj.), which combines global entropy variation and local smoothness, through online reward augmentation and offline training on correct responses. Online experiments adapt Qwen3-1.7B on 30 AIME problems without reference answers; offline experiments use historical AIME problems. UID-Conj. improves the online macro-average across the adaptation benchmark and three transfer benchmarks by 2.08 percentage points over unmodified TTRL. The strongest evidence comes from offline weighted SFT: UID-Conj. exceeds uniform weighting on the same response pool by 1.93 points, with a paired prompt-bootstrap 95\% CI of [0.44, 3.44]. Benefits are task-dependent: SC rewards judged trace quality and instruction following, while UID-Conj. rewards yield stronger training outcomes in several settings. We find that auxiliary preferences can expose learning value among equally correct traces not captured during inference time, motivating their evaluation through downstream gains.