Moral Safety in LLMs: Exposing Performative Compliance with Puzzled Cues
作者: Mohammadamin Shafiei, Shuyue Stella Li, Yulia Tsvetkov
分类: cs.CL, cs.CY
发布日期: 2026-06-30
💡 一句话要点
提出Cue Visibility Gap以解决LLMs道德安全性评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 道德安全性 大型语言模型 公平性评估 线索变异 模型鲁棒性 高风险决策 伦理行为
📋 核心要点
- 核心问题：现有的公平性评估方法高估了大型语言模型的道德安全性，未能准确反映其在真实情境中的表现。
- 方法要点：论文提出了一种线索变异方法，通过改变人口身份的表达方式来评估模型的道德合规性。
- 实验或效果：实验结果显示，隐藏显式标签导致有害决策增加4.4个百分点，并改变了模型的安全性排名。
📝 摘要（中文）
随着大型语言模型在医疗、法律和招聘等道德重要领域的应用，必须审视其伦理行为是否真实。研究表明，现有的公平性评估显著高估了道德安全性。当人口身份作为显式标签时，模型表现出公平性，但当身份需要推断时，公平性显著下降。我们引入了一种线索变异方法，固定道德困境和人口身份，仅改变身份的表达方式。隐藏显式标签使有害决策增加了4.4个百分点，并改变了模型的安全性排名。我们提出的Cue Visibility Gap是一个模型无关的鲁棒性指标，可以添加到现有的公平性基准中，以区分真实的道德安全性与表面合规性。
🔬 方法详解
问题定义：论文要解决的问题是大型语言模型在道德决策中的表现是否真实，现有方法在评估模型公平性时未考虑线索的表达方式，导致评估结果失真。
核心思路：论文的核心思路是通过引入线索变异方法，固定道德困境和人口身份，仅改变身份的表达方式，从而更准确地评估模型的道德合规性。这样设计的目的是揭示模型在不同表达方式下的表现差异。
技术框架：整体架构包括固定道德困境和人口身份的实验设计，线索变异的实施，以及对模型决策的评估。主要模块包括数据准备、模型训练、线索变异实验和结果分析。
关键创新：最重要的技术创新点是提出了Cue Visibility Gap这一概念，作为一种模型无关的鲁棒性指标，能够有效区分真实的道德安全性与表面合规性，这与现有方法的评估方式有本质区别。
关键设计：在实验中，关键设计包括如何选择和隐藏显式标签的方式，损失函数的设置，以及模型的评估标准，确保评估结果的可靠性和有效性。通过这些设计，研究能够揭示模型在不同条件下的真实表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，隐藏显式标签使有害决策增加了4.4个百分点，并且这一变化影响了模型的安全性排名。这表明现有的公平性评估方法未能准确反映模型的真实道德表现，强调了线索变异的重要性。
🎯 应用场景
该研究的潜在应用领域包括医疗、法律和招聘等高风险决策场景。通过引入Cue Visibility Gap，能够帮助开发更为公正和可靠的AI系统，确保其在道德决策中的表现符合社会期望，进而提升公众对AI系统的信任度。
📄 摘要（原文）
As large language models take on morally consequential roles in healthcare, legal, and hiring contexts, we need to examine whether their ethical behaviors are genuine or superficial. We show that current fairness evaluations substantially overestimate moral safety. Models appear fair when demographic identity is stated as an explicit label, yet become measurably less fair when the same identity must be inferred. We term this failure \emph{performative compliance}, where a model is fair when the presentation resembles a fairness evaluation and less fair as that cue weakens. We introduce a cue-variation methodology that holds the moral dilemma and the demographic identity fixed and varies only how that identity is conveyed. Hiding the explicit label raises harmful decisions by $+4.4$~pp and changes model safety rankings, and the shift persists when models correctly infer the demographic, ruling out attribution error. We propose the \textbf{Cue Visibility Gap}, a model-agnostic robustness metric that can be added to any existing fairness benchmark to separate genuine from performative moral safety. Fairness evaluations that omit cue variation measure surface compliance, not moral robustness, and should not ground deployment decisions in high-stakes settings.