Can LLMs Imagine Moral Alternatives Beyond Binary Dilemmas?
作者: Jongchan Choi, Nari Yang, Sung Soo Park, Jaemin Cho, Han Seoyoung, Haerin Shin, Jun-Hyung Park
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-06-30
备注: "23 pages. Preprint
💡 一句话要点
提出MoralAltDataset以解决LLMs道德选择中的二元困境问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 道德决策 道德困境 替代方案 数据集构建 伦理标准 人机协作
📋 核心要点
- 现有的LLMs在处理道德困境时，往往局限于二元选择，缺乏想象替代方案的能力。
- 本文提出MoralAltDataset，通过引入妥协和重新框架的替代方案，帮助LLMs超越传统的道德选择。
- 实验结果显示，妥协替代方案在15个LLMs中更受欢迎，且LLM生成的替代方案在结构和伦理标准上优于人类创作的方案。
📝 摘要（中文）
随着大型语言模型（LLMs）作为道德顾问和代理的应用日益广泛，它们需要处理两个相互竞争价值之间的困境。然而，现有研究忽视了人类道德认知的一个核心方面：想象超越给定选项的替代方案的能力。本文介绍了MoralAltDataset，这是一个包含307个道德困境的数据集，涵盖叙事顾问困境和面向AI的代理困境，并为每个困境增加了妥协和重新框架的替代方案。我们首先考察人类和LLMs在引入这些替代方案时是否会改变判断。研究发现，妥协替代方案通常比原始选项更受欢迎，显著重塑了道德选择。接着，我们使用成对偏好和专家标准评估LLM生成的替代方案与人类创作的替代方案的质量，结果表明LLM生成的替代方案通常更受欢迎，并更好地满足细致的结构和伦理标准，同时揭示了结构质量与实际可行性之间的权衡。
🔬 方法详解
问题定义：本文旨在解决LLMs在道德困境中仅限于二元选择的问题，现有方法未能考虑人类道德认知中的替代方案想象能力。
核心思路：通过构建MoralAltDataset，引入妥协和重新框架的替代方案，评估其对道德判断的影响，从而提升LLMs的道德决策能力。
技术框架：研究首先构建了包含307个道德困境的数据集，然后通过对比实验评估人类与LLMs在引入替代方案后的判断变化，最后分析LLM生成的替代方案的质量。
关键创新：最重要的创新在于引入了妥协和重新框架的替代方案，显著改变了道德选择的结果，这与传统的二元选择方法形成鲜明对比。
关键设计：在实验中，采用成对偏好评估和专家标准对LLM生成的替代方案进行质量评估，关注结构质量与实际可行性之间的权衡。通过这些设计，确保了实验结果的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在15个LLMs中，妥协替代方案的偏好率显著高于原始选项，且LLM生成的替代方案在结构和伦理标准上更具优势，表明其在道德决策中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括道德决策支持系统、自动化伦理审查工具以及智能代理的道德行为设计。通过提升LLMs在道德困境中的表现，可以为社会提供更为合理的道德建议，促进人机协作中的伦理考量。
📄 摘要（原文）
As large language models (LLMs) are increasingly deployed as moral advisors and agents, they need to address dilemmas between two competing values. However, existing research on LLMs with moral dilemmas overlooks a central aspect of human moral cognition: the ability to imagine alternatives that move beyond the given options. We introduce MoralAltDataset, a dataset of 307 moral dilemmas spanning narrative Advisor dilemmas and AI-facing Agent dilemmas, each augmented with compromise and reframed alternatives. We first examine whether humans and LLMs shift their judgments when such alternatives are introduced. Across 15 LLMs, we find that compromise alternatives are often preferred over either original option, substantially reshaping moral choice. We then evaluate the quality of LLM-generated alternatives against human-authored ones using pairwise preference and expert-based criteria. Results show that LLM-generated alternatives are often preferred and better satisfy fine-grained structural and ethical criteria, while revealing trade-offs between structural quality and practical feasibility.