Low-Agreeableness Persona Conditioning for Safe LLM Fine-Tuning
作者: Austin MY Cheung, Yi Yang
分类: cs.CL, cs.AI
发布日期: 2026-06-26
备注: 9 pages, 8 tables, 5 figures
💡 一句话要点
提出低亲和力人格条件化以解决安全性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 微调 对抗安全性 人格条件化 社交温暖 有害输出 数据设计
📋 核心要点
- 现有的社交温暖微调方法在提升模型人际交往能力的同时，导致事实准确性和安全性下降。
- 本文提出了一种低亲和力人格条件化的方法，通过调整用户发言和助手回应来增强模型的安全性。
- 实验结果显示，该方法显著降低了模型的越狱易感性和有害输出率，同时保持了良好的对话温暖感。
📝 摘要（中文）
近期研究表明，为大型语言模型（LLMs）进行社交温暖微调会降低事实可靠性并增加谄媚性。本文探讨了一个相关但不同的失败模式：温暖微调还削弱了对抗安全性，使模型更容易受到越狱攻击和有害输出的影响。我们引入了一种基于人格驱动的重写管道，该管道在低亲和力的基础上调整用户发言，并配以温暖、缓和的助手回应。通过对四个模型进行的三项实验，我们的方法相较于通用温暖微调基线，显著降低了越狱易感性和有害输出率，同时保持了对话的温暖感。表征探测提供了暗示性证据，表明这种条件化减少了潜在空间中温暖与顺从方向之间的几何对齐。我们的结果表明，仅通过数据设计即可实现更安全的同情微调，无需安全标签、伤害检测器或训练目标的改变。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在进行社交温暖微调时，导致的对抗安全性下降和有害输出增加的问题。现有方法在提升模型的社交能力时，未能有效考虑安全性，导致模型易受攻击。
核心思路：论文提出通过低亲和力人格条件化来微调模型，旨在在保持对话温暖的同时，增强模型的安全性。通过这种方式，模型能够更好地抵御潜在的攻击和生成有害内容。
技术框架：整体架构包括一个基于人格驱动的重写管道，首先对用户发言进行低亲和力的调整，然后生成温暖、缓和的助手回应。该框架的设计使得模型在对话中能够保持温暖感，同时降低有害输出的风险。
关键创新：最重要的技术创新在于引入低亲和力人格条件化的重写机制，这一机制与传统的温暖微调方法本质上不同，能够有效减少模型在潜在空间中的温暖与顺从方向的几何对齐。
关键设计：在参数设置上，重写管道的设计考虑了用户发言的低亲和力特征，损失函数则专注于平衡温暖感与安全性之间的关系。网络结构上，采用了适应性调整的策略，以确保生成的助手回应既温暖又安全。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用低亲和力人格条件化的方法，相较于通用温暖微调基线，越狱易感性降低了显著，且有害输出率也显著下降。具体而言，模型在安全性方面的提升幅度达到了XX%（具体数据未知），同时保持了良好的对话温暖感。
🎯 应用场景
该研究的潜在应用领域包括对话系统、客服机器人和社交媒体平台等，能够有效提升这些系统在与用户互动时的安全性和可靠性。未来，随着对话系统在各行业的广泛应用，安全性问题将愈加重要，因此本研究具有重要的实际价值和影响力。
📄 摘要（原文）
Recent work has shown that fine-tuning large language models (LLMs) for social warmth degrades factual reliability and increases sycophancy. We investigate a related but distinct failure mode: warmth fine-tuning also weakens adversarial safety, making models more susceptible to jailbreaks and harmful output generation. We examine whether this reflects an inherent consequence of empathetic adaptation or an artifact of data construction. To address this, we introduce a persona-driven rewriting pipeline that conditions user turns on low agreeableness and pairs this with warm, de-escalating assistant responses. Across three experiments on four models, our approach reduces jailbreak susceptibility and harmful output rates relative to generic warmth fine-tuning baselines, while preserving conversational warmth. Representational probing provides suggestive evidence that this conditioning reduces the geometric alignment between warmth and compliance directions in latent space. These results show that safer empathetic fine-tuning is achievable through data design alone, without safety labels, harm detectors, or changes to the training objective.