Personality Latents: Conditioning Frozen Language Models on Individuals from Their Own Writing
作者: Gunhee Cho, Yun-Gyung Cheong
分类: cs.CL
发布日期: 2026-10-27
💡 一句话要点
提出个性潜变量以解决语言模型个性控制问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 个性化语言模型 潜变量学习 冻结模型 自然语言处理 个性控制
📋 核心要点
- 现有方法依赖于书面档案或特征分类，无法灵活表达个性，限制了语言模型的应用。
- 本文提出个性潜变量（PL），通过个人写作学习潜变量，无需标签，直接注入冻结语言模型。
- 在MBTI轴上，PL的AUC表现优于现有基线，且潜变量可通过适配器在不同模型间迁移。
📝 摘要（中文）
控制语言模型的个性通常依赖于书面档案或命名特征类别，因此只能表达作者所写内容或分类法所命名的特征。本文提出个性潜变量（PL），通过个人的写作学习潜变量，无需个性标签和书面档案，并将其注入到冻结的语言模型中作为软前缀。经过生成潜变量优化，每个训练者获得一个通过冻结模型本身优化的自由潜变量，同时编码器学习预测这些潜变量，使得新用户只需一次前向传播，并可在测试时进行可选的细化。我们通过让条件模型回答中性和访谈问题，并通过训练在真实人类写作上的评分者来评估其回答中的个性。在MBTI轴上，PL的AUC超过了在相同设置下的个性嵌入和基于提示的基线，并且在三种不同的嵌入空间中评分时排名保持不变。使用Qwen2.5-3B-Instruct学习的潜变量也通过新的适配器将个性转移到Llama-3.1-8B-Instruct。
🔬 方法详解
问题定义：本文旨在解决现有语言模型个性控制的局限性，现有方法依赖于书面档案或特征分类，无法灵活表达个性。
核心思路：提出个性潜变量（PL），通过个人的写作数据学习潜变量，无需个性标签和书面档案，直接注入到冻结的语言模型中作为软前缀。
技术框架：整体架构包括三个主要模块：1) 生成潜变量优化；2) 冻结语言模型；3) 编码器预测潜变量。每个训练者通过冻结模型优化得到潜变量，编码器则学习如何预测这些潜变量。
关键创新：最重要的创新在于无须依赖个性标签，通过个人写作直接学习潜变量，并将其注入到模型中，显著提高了个性表达的灵活性和准确性。
关键设计：在模型设计中，采用了生成潜变量优化技术，损失函数设计为最小化预测潜变量与实际潜变量之间的差异，网络结构则基于现有的冻结语言模型进行调整。潜变量的优化过程允许模型在不改变结构的情况下，灵活适应不同个性特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在MBTI轴上，个性潜变量（PL）达到了优于现有个性嵌入和基于提示的基线的AUC表现，具体数值未提供。该方法在三种不同的嵌入空间中均保持了良好的排名，显示出其在个性化表达上的有效性和稳定性。
🎯 应用场景
该研究的潜在应用领域包括个性化对话系统、虚拟助手和社交机器人等。通过更精准地控制语言模型的个性，能够提升用户体验，使得机器与人类的互动更加自然和贴近个体需求。未来，个性潜变量的研究可能推动更广泛的个性化AI应用的发展。
📄 摘要（原文）
Controlling the personality of a language model usually relies on written profiles or named trait categories, so it can only express what an author writes down or what a taxonomy names. We instead propose Personality Latents (PL), which learn a latent for each person from their own writing, with no personality labels and no authored profile, and inject it into a frozen language model as a soft prefix. Following generative latent optimization, each training person receives a free latent that is optimized through the frozen model itself, while an encoder learns to predict these latents so that a new person needs only one forward pass, with optional refinement at test time. We evaluate on held-out people by having the conditioned model answer neutral and interview questions and reading personality from its answers with scorers trained on real human writing. On the MBTI axes PL reaches an AUC of , ahead of persona embedding and prompt-based baselines under identical settings, and the ranking holds when the answers are scored in three different embedding spaces. A latent learned with Qwen2.5-3B-Instruct also transfers personality to Llama-3.1-8B-Instruct through a new adapter alone.