Do Moral Judgment and Reasoning Capability of LLMs Change with Language? A Study using the Multilingual Defining Issues Test

📄 arXiv: 2402.02135v1 📥 PDF

作者: Aditi Khandelwal, Utkarsh Agarwal, Kumar Tanmay, Monojit Choudhury

分类: cs.CL, cs.AI

发布日期: 2024-02-03

备注: Accepted to EACL 2024 (main)

💡 一句话要点

探讨语言对大型语言模型道德判断与推理能力的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 道德判断 大型语言模型 多语言处理 道德推理 跨文化研究 自然语言处理 机器学习

📋 核心要点

  1. 现有研究表明，道德判断受提问语言的影响，但缺乏对多语言环境下LLMs的系统性研究。
  2. 本研究通过扩展至五种语言，探讨LLMs在道德判断和推理能力上的表现差异，揭示语言对道德推理的影响。
  3. 实验结果显示，印地语和斯瓦希里语的道德推理能力显著低于其他语言，且道德判断因语言而异，提供了新的研究视角。

📝 摘要（中文）

本论文研究了大型语言模型（LLMs）在不同语言下的道德判断和推理能力，使用了著名的定义问题测试。研究扩展至五种新语言（中文、印地语、俄语、西班牙语和斯瓦希里语），并考察了三种LLMs（ChatGPT、GPT-4和Llama2Chat-70B）。结果表明，所有模型在印地语和斯瓦希里语中的道德推理能力显著低于西班牙语、俄语、中文和英语，而后四种语言的表现没有明显趋势。道德判断也因语言而异。

🔬 方法详解

问题定义：本论文旨在探讨大型语言模型在不同语言下的道德判断和推理能力，现有研究主要集中在英语，缺乏对多语言环境的深入分析。

核心思路：通过使用定义问题测试，研究不同语言对LLMs道德推理能力的影响，比较多种语言的表现差异，以揭示语言对道德判断的潜在影响。

技术框架：研究涉及三种LLMs（ChatGPT、GPT-4和Llama2Chat-70B），并在五种语言上进行评估。每种模型的道德推理能力通过后常规评分进行量化，分析不同语言的表现。

关键创新：本研究的创新在于将道德判断的研究扩展至多种语言，揭示了不同语言对LLMs道德推理能力的显著影响，填补了现有文献的空白。

关键设计：研究中使用了定义问题测试的标准化评分方法，确保了不同语言间的可比性，并对模型的输出进行了系统的分析和比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所有模型在印地语和斯瓦希里语中的道德推理能力显著低于西班牙语、俄语、中文和英语，后四种语言的表现没有明显趋势。这一发现为多语言LLMs的道德推理能力提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括多语言AI助手、跨文化道德教育和社会科学研究。通过理解不同语言对道德判断的影响，可以优化LLMs在多语言环境中的表现，提高其在全球范围内的适用性和可靠性。

📄 摘要（原文）

This paper explores the moral judgment and moral reasoning abilities exhibited by Large Language Models (LLMs) across languages through the Defining Issues Test. It is a well known fact that moral judgment depends on the language in which the question is asked. We extend the work of beyond English, to 5 new languages (Chinese, Hindi, Russian, Spanish and Swahili), and probe three LLMs -- ChatGPT, GPT-4 and Llama2Chat-70B -- that shows substantial multilingual text processing and generation abilities. Our study shows that the moral reasoning ability for all models, as indicated by the post-conventional score, is substantially inferior for Hindi and Swahili, compared to Spanish, Russian, Chinese and English, while there is no clear trend for the performance of the latter four languages. The moral judgments too vary considerably by the language.