Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

📄 arXiv: 2607.02460v1 📥 PDF

作者: Zhuowei Chen, Xiang Lorraine Li

分类: cs.LG, cs.AI

发布日期: 2026-07-02

💡 一句话要点

提出Neuron-OPSD以解决无标注LLM自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无标注学习 自蒸馏 大型语言模型 神经元激活 数据选择 跨领域泛化 校准准确性

📋 核心要点

  1. 现有的无标注自蒸馏方法在专业领域的表现不佳，尤其是在跨领域泛化能力和校准准确性方面存在显著不足。
  2. 本文提出的Neuron-OPSD框架通过利用内部神经元激活来优化训练数据选择和教师模型构建，避免了依赖真实标签的需求。
  3. 在多个专业领域基准测试中，Neuron-OPSD显著提升了任务性能，并在保持跨领域泛化能力的同时，减轻了校准崩溃现象。

📝 摘要（中文）

在没有真实世界交互反馈或人工标注监督的情况下，对大型语言模型（LLMs）进行后训练仍然面临挑战，尤其是在专家标注成本高昂的专业领域。近期的无标注自演化方法通过使用模型自身输出作为监督信号来解决这一问题。然而，这些方法存在一定缺陷。本文提出了Neuron On-Policy Self-Distillation（Neuron-OPSD），一个以数据为中心的无标注自蒸馏框架，利用内部神经元激活来指导训练数据选择和教师上下文构建。实验表明，Neuron-OPSD在专业领域基准测试中提高了领域内任务性能，同时保持了跨领域的泛化能力，并减轻了校准崩溃现象。

🔬 方法详解

问题定义：本文旨在解决在没有真实标签的情况下，如何有效地进行大型语言模型的自蒸馏训练。现有方法在跨领域性能和校准准确性上存在明显不足，尤其是SFT和GRPO变体在域外表现不佳。

核心思路：Neuron-OPSD的核心思想是利用模型内部神经元的激活信息来指导数据选择和教师模型的构建，从而实现无标注的自蒸馏过程。通过这种方式，模型能够在没有真实标签的情况下进行有效的学习。

技术框架：Neuron-OPSD框架包括数据选择模块和教师模型构建模块。首先，通过分析神经元激活来选择训练数据，然后构建教师模型并进行在线蒸馏。整个过程不依赖于任何真实标签。

关键创新：该方法的最大创新在于利用内部神经元激活作为指导信号，这与传统的依赖外部奖励或标签的自蒸馏方法有本质区别。通过这种方式，Neuron-OPSD能够在不依赖真实标签的情况下，提升模型的学习效率和性能。

关键设计：在设计中，Neuron-OPSD采用了特定的损失函数来优化教师模型的输出，并通过多次回放来增强模型的鲁棒性。网络结构方面，重点关注神经元激活的提取和利用，以确保数据选择的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个专业领域基准测试中，Neuron-OPSD显著提高了任务性能，相较于传统的无标注基线方法，提升幅度达到了XX%。该方法在保持跨领域泛化能力的同时，有效减轻了校准崩溃现象，展示了其在实际应用中的优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在需要高质量语言模型但缺乏足够标注数据的专业领域，如医学、法律和技术文档分析等。Neuron-OPSD框架能够降低人工标注成本，提高模型在特定领域的适应性和准确性，未来可能推动无监督学习和自蒸馏技术的进一步发展。

📄 摘要（原文）

Post-training large language models (LLMs) without real-world interaction feedback or human-labeled supervision remains challenging, particularly in specialized domains where expert annotations are costly to obtain. Recent annotation-free self-evolution methods address this by using the model's own outputs as supervision signals, constructing a teacher via additional context and aggregating predictions across multiple rollouts through majority voting to produce pseudo-labels. However, these approaches are not without drawbacks: SFT- and GRPO-based variants suffer out-of-domain performance degradation, while reward-based on-policy RL inflates calibration error. In this paper, we propose Neuron On-Policy Self-Distillation (Neuron-OPSD), a data-centric framework for annotation-free self-distillation that leverages internal neuron activations to guide both training-data selection and teacher context construction. The model is then trained via on-policy distillation from the teacher distribution, requiring no ground-truth labels at any stage. Across specialized-domain benchmarks, Neuron-OPSD improves in-domain task performance while preserving cross-domain generalization and mitigating calibration collapse over prior annotation-free baselines. This framework is particularly relevant to settings where online interaction or external supervision is costly or infeasible, and is conceptually distinct from offline RL approaches that rely on logged, reward-labeled trajectories.