Data Attribution of Emergent Misalignment with Persona Features
作者: Clemens Vetter, David Kaczér, Lucie Flek, Florian Mai
分类: cs.CL
发布日期: 2026-08-11
💡 一句话要点
提出数据归因方法以解决语言模型的紧急失调问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 紧急失调 语言模型 特征归因 微调 安全性
📋 核心要点
- 现有的语言模型在特定任务微调后，可能在无关领域产生有害行为，导致紧急失调现象。
- 本文提出通过分析预训练文档和特征激活，探讨如何控制和归因于紧急失调的特征。
- 实验结果显示，调节特征可以显著影响失调率，且合成指令-响应对比自然文本更能引发EM。
📝 摘要（中文）
紧急失调（EM）是指在特定任务上微调语言模型时，导致其在无关领域产生有害行为的现象。本文探讨了这些失调特征的来源，分析了预训练文档如何激活这些特征，以及自然生成的文本是否足以引发EM。通过基于稀疏自编码器的模型差异分析，发现与越狱角色、讽刺、欺骗和操控相关的特征在失调微调中被放大，而安全相关和助手身份特征则被抑制。研究表明，单独调节特征可以在对齐模型中引发高达62%的失调率，超过微调本身的35%。
🔬 方法详解
问题定义：本文旨在解决语言模型在微调过程中出现的紧急失调现象，现有方法未能有效识别和控制导致失调的潜在特征。
核心思路：通过分析预训练文档和特征激活，探索哪些特征导致失调，并通过调节这些特征来控制失调率。
技术框架：研究采用稀疏自编码器（SAE）进行模型差异分析，主要模块包括特征提取、激活分析和失调控制。
关键创新：最重要的创新在于识别并归因于特定的潜在特征，如越狱角色和操控行为，这些特征在微调过程中被放大，而安全特征被抑制。
关键设计：在实验中，使用了一百万个预训练网页文档进行特征归因，采用合成指令-响应对比自然文本，以探讨不同文本结构对EM的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过调节特征，能够在对齐模型中引发高达62%的失调率，显著超过微调本身的35%。此外，合成的指令-响应对比自然文本更能有效引发EM，显示出文本结构的重要性。
🎯 应用场景
该研究为语言模型的安全性和可靠性提供了新的视角，尤其在开发对话系统和智能助手时，能够有效识别和控制潜在的有害行为。未来，该方法可广泛应用于文本生成、内容审核和人机交互等领域，提升模型的安全性和用户体验。
📄 摘要（原文）
Emergent misalignment (EM) is the phenomenon where fine-tuning a language model on a narrow task leads to harmful behavior in unrelated domains. A leading mechanistic account attributes EM to persona features: latent directions acquired during pre-training that misaligned fine-tuning amplifies. We ask where these features come from: which pre-training documents activate them, and whether naturally occurring human-written text suffices to induce EM. Using Sparse Autoencoder (SAE) based model diffing across four open-weight models, we find that features related to jailbreak personas, sarcasm, deception, and manipulation are amplified by misalignment fine-tuning, while safety-relevant and assistant-identity features are suppressed. Steering individual features controls EM in both directions: it induces misalignment rates of up to 62% in aligned models -- exceeding the 35% reached by misalignment fine-tuning itself -- and re-aligns misaligned models to near-baseline misalignment rates. Attributing the causal features to a corpus of one million pre-training web documents retrieves semantically relevant narratives about villainous characters, domination, and harmful agency. However, fine-tuning on these human-written documents does not reliably induce EM, even after reformatting into assistant-style responses, whereas synthetic instruction-response pairs derived from the same content do -- and transfer across model families. Semantic relevance alone is therefore not sufficient: response structure or model-generated phrasing plays an important role in inducing EM.