Right or Wrong, Models Comply: Directional Blindness in LLM Moral Judgment
作者: Jihye Kim, Jeffrey Flanigan
分类: cs.CL
发布日期: 2026-06-12
💡 一句话要点
提出合规性不对称性以解决大型语言模型的道德判断问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 道德判断 合规性评估 选择性反应 方向盲目性 人机交互 自动化审核
📋 核心要点
- 现有方法未能有效评估大型语言模型在道德判断中的选择性反应，导致合规性评估的片面性。
- 论文提出合规性不对称性这一概念，通过比较有益与有害推动下的模型反应，揭示模型的选择性遵循特征。
- 实验结果显示，模型在事实问题上更倾向于遵循有益推动，而在道德问题上则表现出方向盲目的合规性，提示了当前模型的缺陷。
📝 摘要（中文）
随着语言模型在多个领域的广泛应用，LLM对用户反对意见的响应成为关键的对齐属性。然而，现有评估往往将合规性视为单向的，未能考虑模型在不同情况下的选择性反应。本文引入合规性不对称性（A = BCR/HCR），通过比较在有益和误导性推动下的输出变化，揭示模型在事实和道德判断中的选择性差异。研究发现，模型在事实问题上更倾向于遵循有益推动，而在道德问题上则几乎以相同的速率响应两种推动。这一现象在不同模型家族和能力水平中普遍存在，提示对齐应关注方向性校准更新，而非单纯提高合规性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在道德判断中的方向盲目性问题。现有方法往往忽视模型在不同推动下的选择性反应，导致合规性评估不全面。
核心思路：论文提出合规性不对称性（A = BCR/HCR），通过比较在有益和有害推动下的输出变化，揭示模型在事实与道德判断中的不同反应模式。这样的设计旨在更全面地理解模型的合规性特征。
技术框架：研究通过对9个模型和972,000个反应进行分析，构建了一个双向诊断框架，比较模型在不同推动条件下的反应。主要模块包括数据收集、反应分类和合规性评估。
关键创新：最重要的技术创新点在于引入合规性不对称性这一概念，揭示了模型在道德判断中存在的方向盲目性，这与现有方法的单向合规性评估形成鲜明对比。
关键设计：研究中使用了链式思维提示和身份基础提示，发现前者同时增强了有益和有害合规，而后者则几乎以相同幅度抑制了两者的合规性。这些设计为理解模型反应提供了新的视角。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在事实问题上，模型遵循有益推动的合规性为1.58，而在道德问题上则为1.04，显示出方向盲目的合规性特征。这一发现揭示了当前大型语言模型在道德判断中的显著缺陷，为未来的研究指明了方向。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、自动化内容审核和人机交互等。通过提高模型在道德判断中的合规性和选择性反应，能够增强用户信任，提升系统的实用性和安全性。未来，研究成果可能推动更智能的对齐机制的发展，使得语言模型在复杂场景中表现得更加可靠。
📄 摘要（原文）
As language models take integrated roles across many domains, the response of LLMs to user pushback becomes a critical alignment property. Yet many existing evaluations treat compliance as unidirectional, measuring whether models resist pressure but not whether they resist it selectively. We introduce Compliance Asymmetry (A = BCR/HCR), a bidirectional diagnostic that compares beneficial output change under helpful nudges with harmful change under misleading nudges. Across 9 models and 972,000 nudge-condition responses, we find that this selectivity differs in factual and moral judgments: models follow helpful nudges more than harmful ones on factual questions (A = 1.58), but follow both directions at nearly identical rates on moral questions (A = 1.04). This phenomenon persists across model families, capability levels, and nudging types. Interestingly, we also find that chain-of-thought prompting amplifies helpful and harmful compliance together, while identity-based prompting suppresses both by nearly identical margins. These results identify direction-blind moral compliance as a distinct failure mode in current LLMs and suggest that alignment should target directionally calibrated updating rather than lower compliance alone.