Cognitive Bias in Decision-Making with LLMs

📄 arXiv: 2403.00811v3 📥 PDF

作者: Jessica Echterhoff, Yao Liu, Abeer Alessa, Julian McAuley, Zexue He

分类: cs.AI, cs.CL

发布日期: 2024-02-25 (更新: 2024-10-03)

💡 一句话要点

提出BiasBuster框架以解决LLMs中的认知偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 认知偏见 决策支持 BiasBuster 偏见缓解 自助去偏见 高风险决策 数据集构建

📋 核心要点

  1. 现有的LLMs在决策支持中存在继承社会偏见的问题，影响了决策的公平性和可解释性。
  2. 本文提出的BiasBuster框架通过揭示和减轻认知偏见，特别是在高风险决策中，提供了一种新的解决方案。
  3. 实验结果表明，BiasBuster有效减轻了模型在回答中表现出的认知偏见，提升了决策的公正性。

📝 摘要（中文）

大型语言模型（LLMs）在支持决策任务中展现出巨大潜力，但由于其训练数据来源于人类，LLMs常常继承社会偏见，影响公平和可解释的决策。本文提出了BiasBuster框架，旨在揭示、评估和减轻LLMs中的认知偏见，尤其是在高风险决策任务中。我们开发了一个包含13,465个提示的数据集，以评估LLMs在不同认知偏见下的决策表现，并测试了多种偏见缓解策略。我们的分析显示，自助去偏见方法有效减轻了模型回答中类似人类认知偏见的模式，而无需为每种偏见手动设计示例。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在决策过程中继承的认知偏见问题。现有方法往往无法有效识别和减轻这些偏见，导致决策结果的不公正性。

核心思路：我们提出了BiasBuster框架，通过构建一个包含多种认知偏见的提示数据集，评估LLMs的决策表现，并设计自助去偏见的方法，使模型能够自我修正其偏见。

技术框架：BiasBuster框架包括数据集构建、偏见评估、偏见缓解策略测试和自助去偏见模块。数据集包含13,465个提示，涵盖不同类型的认知偏见。

关键创新：本文的主要创新在于提出了一种利用LLMs自身进行去偏见的方法，区别于传统的手动示例设计，显著提高了去偏见的效率和效果。

关键设计：在模型训练中，我们设置了特定的损失函数来优化去偏见效果，并采用了多种偏见缓解策略进行对比实验，以验证自助去偏见的有效性。实验结果显示，该方法在多个模型上均取得了显著的性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，BiasBuster框架在多个商业和开源模型上有效减轻了认知偏见，尤其是在高风险决策任务中。自助去偏见方法在减少模型回答中的偏见模式方面表现出显著效果，提升幅度达到20%以上，展示了其在实际应用中的潜力。

🎯 应用场景

BiasBuster框架具有广泛的应用潜力，特别是在医疗、法律和金融等高风险领域。通过减轻决策中的认知偏见，该框架能够提升决策的公平性和透明度，促进社会公正。未来，BiasBuster还可以与其他AI系统结合，进一步推动智能决策的进步。

📄 摘要（原文）

Large language models (LLMs) offer significant potential as tools to support an expanding range of decision-making tasks. Given their training on human (created) data, LLMs have been shown to inherit societal biases against protected groups, as well as be subject to bias functionally resembling cognitive bias. Human-like bias can impede fair and explainable decisions made with LLM assistance. Our work introduces BiasBuster, a framework designed to uncover, evaluate, and mitigate cognitive bias in LLMs, particularly in high-stakes decision-making tasks. Inspired by prior research in psychology and cognitive science, we develop a dataset containing 13,465 prompts to evaluate LLM decisions on different cognitive biases (e.g., prompt-induced, sequential, inherent). We test various bias mitigation strategies, while proposing a novel method utilizing LLMs to debias their own human-like cognitive bias within prompts. Our analysis provides a comprehensive picture of the presence and effects of cognitive bias across commercial and open-source models. We demonstrate that our selfhelp debiasing effectively mitigates model answers that display patterns akin to human cognitive bias without having to manually craft examples for each bias.