Representational alignment yields generalizable safety in language models
作者: Lingyu Li, Yan Teng, Yingchun Wang, Xia Hu
分类: cs.CL, cs.AI
发布日期: 2026-09-03
💡 一句话要点
提出表征对齐方法以提升语言模型的安全性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 对齐方法 道德判断 对抗鲁棒性 表征学习 机器学习 安全AI
📋 核心要点
- 现有的对齐方法主要关注模型的响应优化，但在面对新形式的有害意图时，模型仍然表现出脆弱性。
- 本文提出的表征相似性优化方法，旨在直接对齐LLMs的潜在表征与人类道德判断的分类结构。
- 实验结果显示，该方法在多种基准测试中提升了模型的对抗鲁棒性，且在不同参数规模下均有效。
📝 摘要（中文）
对大型语言模型（LLMs）的对齐是其安全部署的关键。现有对齐方法主要优化可观察的响应，但模型在面对人类容易识别的有害意图时仍然脆弱。本文展示了当前LLMs在道德概念分类上的不足，尤其是在对立道德类别的区分和细粒度典型性的保持方面。我们提出了表征相似性优化方法，直接将LLMs的潜在表征与人类道德判断的分类进行对齐，而不依赖于生成响应的监督。实验结果表明，该方法在不同模型规模和攻击策略下，显著提高了模型的对抗鲁棒性，支持了基于原型的分类在行为适应性中的作用。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在道德概念分类上的不足，现有方法在对立道德类别的区分和细粒度典型性保持方面存在缺陷，导致模型在对抗性评估中脆弱。
核心思路：提出表征相似性优化方法，直接对齐LLMs的潜在表征与人类道德判断的分类，而不依赖于生成响应的监督，从而增强模型的对抗鲁棒性。
技术框架：整体架构包括潜在表征的提取、与人类道德判断的分类进行对齐、以及对抗性评估的测试。主要模块包括表征提取模块、对齐模块和评估模块。
关键创新：最重要的技术创新在于通过对齐潜在表征而非响应，改善了模型在对抗性场景下的表现，这与传统的行为对齐方法本质上不同。
关键设计：在参数设置上，采用了251,334个道德注释进行训练，损失函数设计为最小化潜在表征与道德判断分类之间的差异，网络结构则保持与现有LLMs一致，以便于直接应用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用表征相似性优化方法后，模型在对抗性评估中的鲁棒性显著提高，尤其是在不同参数规模下，均表现出一致的提升。与传统的行为对齐方法相比，该方法在道德判断的分类结构保持上表现更佳，提升幅度明显。
🎯 应用场景
该研究的潜在应用领域包括安全性要求高的对话系统、内容审核工具以及道德决策支持系统。通过提升语言模型的对抗鲁棒性，可以有效减少模型在实际应用中可能产生的有害输出，增强用户信任和安全性。未来，该方法可能在更广泛的AI系统中推广应用，促进安全AI的发展。
📄 摘要（原文）
Aligning large language models (LLMs) is essential for their safe deployment. Current alignment methods mainly optimize observable responses, yet models remain vulnerable when the same harmful intent is recast in unfamiliar or adversarial forms that humans can easily recognize. Prototype theory offers an account of this adaptability. Human concepts are represented around central cases, and new instances are categorized according to their graded typicality relative to these prototypes. Here we show that such categorization of moral concepts is weakly preserved in current LLMs. Across 23 LLMs, models often failed to distinguish opposed moral categories or preserve fine-grained typicality within each category. These deficits persist across parameter sizes and alignment stages. We developed representational similarity optimization, which directly aligns the latent representations in LLMs with the categorization expressed in human moral judgements, without supervising generated responses. In matched experiments using the same 251,334 moral annotations, standard behavioral alignment learned the intended moral judgements at the response level while leaving the categorization structure largely unchanged and increasing vulnerability across adversarial evaluations. Reorganizing moral categorization produced more modest gains in explicit judgements but consistently improved adversarial robustness across model scales on diverse benchmarks and attack strategies. Our findings provide functional support for the view that prototype-based categorization contributes to behavioral adaptability. They also show that transferring this representational principle to LLMs yields generalizable safety under adversarial conditions.