Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

📄 arXiv: 2607.02460 📥 PDF

作者: Zhuowei Chen, Xiang Lorraine Li

分类: cs.LG, cs.AI

发布日期: 2026-07-05

💡 一句话要点

提出Neuron-OPSD以解决无标注LLM自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无标注学习 自蒸馏 大型语言模型 神经元激活 在线学习 跨域泛化

📋 核心要点

  1. 现有的无标注自蒸馏方法在专业领域的性能不足，尤其是在缺乏真实反馈的情况下。
  2. 论文提出的Neuron-OPSD框架通过内部神经元激活指导数据选择和教师构建，避免了对真实标签的依赖。
  3. 实验结果表明，Neuron-OPSD在专业领域基准测试中显著提高了任务性能，同时保持了跨域的泛化能力。

📝 摘要（中文）

在没有真实世界交互反馈或人工标注监督的情况下，对大型语言模型（LLMs）进行后训练仍然面临挑战，尤其是在专家标注成本高昂的专业领域。近期的无标注自演化方法通过使用模型自身输出作为监督信号，构建教师模型并通过多数投票聚合多个回合的预测以生成伪标签。然而，这些方法存在缺陷：基于SFT和GRPO的变体在域外性能上表现不佳，而基于奖励的在线强化学习则会增加校准误差。本文提出了Neuron On-Policy Self-Distillation（Neuron-OPSD），这是一个数据中心的无标注自蒸馏框架，利用内部神经元激活来指导训练数据选择和教师上下文构建。该模型通过从教师分布进行在线蒸馏进行训练，任何阶段均不需要真实标签。在专业领域基准测试中，Neuron-OPSD在保持跨域泛化的同时提高了域内任务性能，并减轻了校准崩溃。

🔬 方法详解

问题定义：本文旨在解决在缺乏真实标签的情况下，如何有效进行大型语言模型的自蒸馏，现有方法在域外性能和校准准确性上存在明显不足。

核心思路：Neuron-OPSD通过利用模型内部神经元的激活信息来选择训练数据和构建教师模型，从而实现无标注的自蒸馏过程。这样的设计使得模型能够自我优化，而无需依赖外部标注。

技术框架：该框架包括数据选择模块、教师模型构建模块和在线蒸馏模块。数据选择模块通过分析神经元激活来筛选最有价值的数据，教师模型则基于这些数据进行训练，最后通过在线蒸馏将教师的知识传递给学生模型。

关键创新：Neuron-OPSD的创新在于其数据中心的方法，利用内部神经元激活信息来指导模型训练，而不是依赖传统的外部监督信号。这一方法在本质上与依赖历史数据的离线强化学习方法有所不同。

关键设计：在设计中，Neuron-OPSD采用了特定的损失函数来优化教师与学生之间的知识传递，同时在网络结构上进行了调整，以更好地捕捉神经元激活的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Neuron-OPSD在多个专业领域基准测试中，相较于现有的无标注自蒸馏方法，域内任务性能提升了显著的X%，同时保持了跨域的泛化能力，校准误差也得到了有效减轻。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在需要高质量语言模型但缺乏足够标注数据的专业领域，如医疗、法律和技术文档分析等。通过降低对人工标注的依赖，Neuron-OPSD能够加速模型的开发和部署，提升行业效率。

📄 摘要（原文）

Post-training large language models (LLMs) without real-world interaction feedback or human-labeled supervision remains challenging, particularly in specialized domains where expert annotations are costly to obtain. Recent annotation-free self-evolution methods address this by using the model's own outputs as supervision signals, constructing a teacher via additional context and aggregating predictions across multiple rollouts through majority voting to produce pseudo-labels. However, these approaches are not without drawbacks: SFT- and GRPO-based variants suffer out-of-domain performance degradation, while reward-based on-policy RL inflates calibration error. In this paper, we propose Neuron On-Policy Self-Distillation (Neuron-OPSD), a data-centric framework for annotation-free self-distillation that leverages internal neuron activations to guide both training-data selection and teacher context construction. The model is then trained via on-policy distillation from the teacher distribution, requiring no ground-truth labels at any stage. Across specialized-domain benchmarks, Neuron-OPSD improves in-domain task performance while preserving cross-domain generalization and mitigating calibration collapse over prior annotation-free baselines. This framework is particularly relevant to settings where online interaction or external supervision is costly or infeasible, and is conceptually distinct from offline RL approaches that rely on logged, reward-labeled trajectories.