Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models

📄 arXiv: 2608.06977v1 📥 PDF

作者: Mudar Adas, Polina Tsvilodub, Michael Franke, Martin V. Butz

分类: cs.CL

发布日期: 2026-08-07

💡 一句话要点

评估大型语言模型在偏见确认中的能力与风险

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 用户偏见 提示框架 模型操控性 自然语言处理

📋 核心要点

  1. 现有大型语言模型在处理用户提示时，可能无意中强化用户的偏见，导致模型输出不够客观。
  2. 本研究通过系统评估不同提示策略，探讨LLMs对直接和暗示性提示的敏感性，揭示其在偏见确认中的角色。
  3. 实验结果显示，LLMs的响应与提示框架高度一致，甚至在事实性问题上也存在偏差，强调了模型的可操控性。

📝 摘要（中文）

大型语言模型（LLMs）对提示框架敏感，反映了其训练数据或先前提示中的模式。本研究探讨了LLMs在多大程度上强化用户在提示中表达的偏见，并考察隐性框架效应与显性提示操控之间的界限。我们评估了六个LLMs，使用160个不同的提示，涵盖十个主题，涉及基于意见和事实的领域。结果表明，LLMs系统性地调整其响应以符合提示框架，甚至在事实背景下也如此。这表明提示框架可能超过事实一致性。我们的发现界定了LLMs的可操控性范围，并表明LLMs可以强化微妙的用户偏见，且在应保持事实稳定的领域中也易受显性提示操控的影响。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在用户提示下可能强化偏见的问题。现有方法未能充分评估模型在不同提示框架下的响应一致性和偏见确认能力。

核心思路：通过设计多样化的提示策略，研究LLMs如何响应不同的提示框架，尤其是支持与挑战指令的影响，从而揭示模型的操控性。

技术框架：研究使用六个不同的LLMs，针对160个提示进行评估，涵盖十个主题，提示策略包括支持与挑战、提示极性、用户信念等多维度的变化。

关键创新：本研究的创新在于系统性地揭示了LLMs在事实性问题上的响应如何受到提示框架的影响，强调了模型的可操控性与用户偏见的强化。

关键设计：实验中采用了多种提示策略，系统性地变化提示内容和结构，以评估模型在不同情况下的响应，确保结果的全面性与可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在160个不同提示下的响应与提示框架高度一致，尤其在事实性问题上，模型的输出可能偏离事实。这一发现强调了提示框架在模型响应中的重要性，揭示了LLMs的潜在操控性。

🎯 应用场景

该研究的结果对自然语言处理、社交媒体内容生成、舆情分析等领域具有重要的应用价值。了解LLMs如何响应用户提示，可以帮助开发更为公正和客观的AI系统，减少偏见的传播，促进社会公平。

📄 摘要（原文）

It is well established that large language models (LLMs) are sensitive to prompt framing, reflecting patterns in their training data or prior prompts. In this study, we investigate the extent to which LLMs reinforce users biases expressed in the prompts and examine the boundary between implicit framing effects and explicit prompt manipulation. Specifically, we evaluate how susceptible LLMs are to direct and suggestive prompts that encourage models to support or challenge particular positions. We evaluate six LLMs using 160 distinct prompts spanning ten topics across opinion-based and factual domains. The prompts systematically vary in prompting strategy, support versus challenge instructions, prompt polarity, users' expressed beliefs, and topic domain, spanning both opinion-based and factual questions. Our results show that LLMs systematically adapt their responses to align with prompt framing, even in factual contexts. This suggests that prompt framing can outweigh factual consistency in model responses. Overall, our findings delineate the extent and boundaries of LLM manipulability. Furthermore, the results imply that LLMs can reinforce subtle user biases and are susceptible to explicit prompt manipulation even in domains where responses should remain factually stable.