Red AI? Inconsistent Responses from GPT3.5 Models on Political Issues in the US and China

📄 arXiv: 2312.09917v1 📥 PDF

作者: Di Zhou, Yinxian Zhang

分类: cs.CL, cs.AI

发布日期: 2023-12-15

💡 一句话要点

揭示GPT3.5在美中政治议题上双语回答的不一致性，暗示潜在政治倾向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治偏见 多语言模型 情感分析 中美关系

📋 核心要点

  1. 现有研究主要关注英文训练的LLM，忽略了多语言模型在政治议题上的潜在偏见。
  2. 本研究通过对比GPT模型在英汉两种语言下对中美政治问题的回答，分析其政治倾向。
  3. 实验发现GPT模型在对中国政治问题的回答上，中英文版本存在显著的内容和情感差异。

📝 摘要（中文）

ChatGPT等大型语言模型（LLMs）日益普及，但越来越多的研究表明它们容易出错和存在偏见。然而，大多数研究集中于在英文文本上训练的模型。本研究采用创新方法，调查GPT多语言模型中的政治偏见。我们用英语和简体中文向GPT提出了关于美国和中国备受关注的政治问题的相同问题，对双语回答的分析表明，GPT双语模型的政治“知识”（内容）和政治“态度”（情感）在中国政治问题上存在显著的不一致性。简体中文GPT模型不仅倾向于提供亲中国的信息，而且对中国问题的负面情绪也最少，而英文GPT对中国的负面情绪明显更强。这种差异可能源于中国国家审查和美中地缘政治紧张局势，这些因素影响了GPT双语模型的训练语料库。此外，中文和英文模型都倾向于减少对由其使用语言代表的“自身”问题的批评，而不是对“他者”问题的批评。这表明GPT多语言模型可能会根据其训练语言发展出一种“政治身份”和相关的情感偏见。我们讨论了我们的发现对在一个日益分裂的世界中信息传播和交流的影响。

🔬 方法详解

问题定义：该论文旨在研究GPT3.5等多语言模型在处理不同语言的政治问题时，是否存在偏见和不一致性。现有方法主要集中在单语模型或泛泛地评估多语言能力，缺乏对特定政治议题的深入分析，也未能充分考虑训练数据中的潜在偏见来源，例如审查制度和地缘政治因素。

核心思路：核心思路是通过对比GPT3.5在英语和简体中文两种语言下，对美国和中国政治议题的回答，来揭示其潜在的政治倾向。通过分析回答的内容和情感，判断模型是否对特定国家或政治立场存在偏袒。这种对比分析能够更清晰地展现模型在不同语言环境下的差异。

技术框架：该研究的技术框架主要包括以下几个阶段： 1. 问题设计：设计一系列关于美国和中国政治议题的问题，确保问题具有可比性。 2. 模型提问：使用英语和简体中文两种语言向GPT3.5模型提问。 3. 回答收集：收集模型生成的回答文本。 4. 内容分析：分析回答文本的内容，判断其是否包含亲某国或贬低某国的信息。 5. 情感分析：使用情感分析工具评估回答文本的情感倾向，判断其是积极、消极还是中性。 6. 对比分析：对比不同语言下模型回答的内容和情感，分析其是否存在显著差异。

关键创新：该研究的关键创新在于其研究视角和方法。首先，它关注的是多语言模型在政治议题上的偏见，这是一个相对较新的研究方向。其次，它采用对比分析的方法，通过对比不同语言下的回答，更清晰地揭示了模型的潜在倾向。此外，该研究还考虑了训练数据中的潜在偏见来源，例如审查制度和地缘政治因素，这使得研究结果更具说服力。

关键设计：研究的关键设计包括： 1. 问题选择：选择具有代表性的中美政治议题，例如人权、贸易、环境等。 2. 情感分析工具：选择可靠的情感分析工具，例如VADER或TextBlob，并进行适当的校准。 3. 统计分析方法：使用统计方法，例如t检验或方差分析，来评估不同语言下回答的内容和情感差异的显著性。

📊 实验亮点

研究发现，GPT3.5在简体中文环境下对中国政治问题的回答更倾向于亲中国立场，且负面情绪较少，而在英文环境下则对中国问题持更负面的态度。这表明模型可能受到训练数据中存在的政治偏见的影响，并可能发展出基于语言的“政治身份”。这种差异在涉及人权、贸易等敏感议题时尤为明显。

🎯 应用场景

该研究成果可应用于评估和改进大型语言模型在处理政治敏感信息时的公正性和客观性。它有助于开发更可靠、更负责任的AI系统，避免其被用于传播政治偏见或虚假信息。此外，该研究也为理解语言、文化和政治之间的复杂关系提供了新的视角，对跨文化交流和国际关系研究具有参考价值。

📄 摘要（原文）

The rising popularity of ChatGPT and other AI-powered large language models (LLMs) has led to increasing studies highlighting their susceptibility to mistakes and biases. However, most of these studies focus on models trained on English texts. Taking an innovative approach, this study investigates political biases in GPT's multilingual models. We posed the same question about high-profile political issues in the United States and China to GPT in both English and simplified Chinese, and our analysis of the bilingual responses revealed that GPT's bilingual models' political "knowledge" (content) and the political "attitude" (sentiment) are significantly more inconsistent on political issues in China. The simplified Chinese GPT models not only tended to provide pro-China information but also presented the least negative sentiment towards China's problems, whereas the English GPT was significantly more negative towards China. This disparity may stem from Chinese state censorship and US-China geopolitical tensions, which influence the training corpora of GPT bilingual models. Moreover, both Chinese and English models tended to be less critical towards the issues of "their own" represented by the language used, than the issues of "the other." This suggests that GPT multilingual models could potentially develop a "political identity" and an associated sentiment bias based on their training language. We discussed the implications of our findings for information transmission and communication in an increasingly divided world.