Low-Resource Preference Adaptation of LLMs via Activation-Based Label Propagation
作者: Alessio Galatolo, Meriem Beloucif
分类: cs.CL
发布日期: 2026-08-31
备注: EMNLP26 Main
🔗 代码/项目: GITHUB
💡 一句话要点
提出激活基于标签传播的方法以解决低资源偏好适应问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 偏好适应 激活传播 低资源学习 线性探针 用户建模
📋 核心要点
- 现有方法在低资源环境中难以有效适应用户特定偏好，人工标注成本高且偏好难以可靠标注。
- 论文提出通过训练轻量级线性探针，利用少量标注的偏好对来注释大规模未标注数据集，以优化偏好。
- 实验结果显示，该方法在相同标注预算下优于直接训练，并在大多数情况下与基于大量标注数据的基线方法具有竞争力。
📝 摘要（中文）
在用户特定偏好的适应中，大型语言模型（LLMs）常常受到人工标注成本的限制，尤其是在低资源环境下，偏好无法被可靠标注。本文研究了语言模型如何在其中间表示中编码偏好信息，发现选定和拒绝响应的激活在各层中形成了明显的聚类结构。我们提出了一种轻量级线性探针的训练方法，利用少量标注的偏好对（≤500）来注释大规模未标注数据集（50K+），并在不同数据集和模型规模上进行了系统评估，结果表明该方法在相同标注预算下优于直接训练，并在大多数设置中与基于50-100倍更多标注数据的基线方法竞争力强。
🔬 方法详解
问题定义：本文旨在解决在低资源环境下，如何有效适应用户特定偏好的问题。现有方法依赖于大量人工标注，导致在文化、主观或个性化背景下的偏好难以可靠标注。
核心思路：论文的核心思路是利用语言模型中激活的聚类结构，通过训练轻量级线性探针来从少量标注的偏好对中提取信息，从而为大规模未标注数据集提供注释。
技术框架：整体架构包括三个主要阶段：首先，分析语言模型的激活以识别偏好信息；其次，训练线性探针以从少量标注数据中学习；最后，利用训练好的探针对大规模未标注数据进行注释，以实现偏好优化。
关键创新：最重要的技术创新在于通过激活的聚类结构来进行标签传播，这种方法与传统的依赖大量标注数据的训练方式本质上不同，能够在低资源环境中有效工作。
关键设计：在设计中，使用了少量的标注偏好对（≤500），并通过线性探针的训练来实现对50K+未标注数据集的注释，确保了方法的高效性和实用性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在相同的标注预算下，优于直接训练，且在大多数设置中与基于50-100倍更多标注数据的基线方法相比，保持了竞争力。具体而言，方法在多个数据集上均表现出显著的性能提升，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括个性化推荐系统、用户偏好建模和人机交互等。通过有效适应用户特定偏好，该方法能够提升用户体验，并在文化多样性和个性化需求日益增长的背景下，具有重要的实际价值和未来影响。
📄 摘要（原文）
Adapting large language models to user-specific preferences is often constrained by the cost of human annotation, making preference optimisation impractical in low-resource settings where preferences cannot be reliably labelled by LLMs themselves, e.g., due to cultural, subjective, or personalised contexts. In this paper, we investigate how language models encode preference information in their intermediate representations, finding that activations from chosen and rejected responses form distinct clusters across layers, even in pretrained models. Strikingly, this structure is strengthened by alignment on canonical datasets but erased when the target preferences differ from those the model was aligned on, suggesting aligned LLMs are poor judges for non-mainstream populations. Exploiting this structure, we propose training a lightweight linear probe on a few labelled preference pairs ($\leq$500) and using it to annotate large unlabelled datasets (50K+) for downstream preference optimisation. We systematically evaluate this approach across different datasets, preference optimisation methods and model scales and find that our method consistently outperforms direct training given the same annotation budget, and remains competitive against baselines trained on $50-100\times$ more labelled data in the majority of our settings. Code is available at https://github.com/alessioGalatolo/activ-pref-probe.