Incoherent Probability Judgments in Large Language Models

📄 arXiv: 2401.16646v2 📥 PDF

作者: Jian-Qiao Zhu, Thomas L. Griffiths

分类: cs.CL, cs.AI

发布日期: 2024-01-30 (更新: 2025-05-06)

期刊: CogSci 2024

💡 一句话要点

探讨大语言模型概率判断的不一致性及其原因

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 概率判断 贝叶斯推断 系统性偏差 自然语言处理 决策支持

📋 核心要点

  1. 核心问题：现有的大语言模型在生成连贯文本方面表现良好，但在概率判断上却常常出现不一致性，显示出系统性偏差。
  2. 方法要点：通过使用概率恒等式和重复判断，评估LLMs的概率判断一致性，并提出将其与隐式贝叶斯推断相联系的理论框架。
  3. 实验或效果：实验结果表明，LLMs的概率判断呈现出人类相似的倒U型均值-方差关系，揭示了其判断的非理性特征。

📝 摘要（中文）

自回归的大语言模型（LLMs）在生成连贯文本方面表现出色，但在形成一致的概率判断时却存在不足。本文通过使用概率恒等式和重复判断来评估LLMs的概率判断一致性，结果显示这些模型的判断常常不一致，表现出类似人类的系统性偏差。此外，当被提示判断同一事件时，LLMs产生的概率判断的均值-方差关系呈现出类似人类的倒U型特征。我们提出，这些非理性偏差可以通过将自回归LLMs与隐式贝叶斯推断联系起来，并与人类概率判断的贝叶斯采样器模型进行类比来解释。

🔬 方法详解

问题定义：本文旨在解决自回归大语言模型在概率判断中存在的不一致性问题。现有方法未能充分评估LLMs在概率判断方面的表现，导致对其能力的误解。

核心思路：论文提出通过概率恒等式和重复判断来评估LLMs的概率判断一致性，认为这些模型的偏差可以通过隐式贝叶斯推断来解释。

技术框架：研究采用了实验设计，通过多次提示LLMs判断同一事件，记录其概率判断并分析均值与方差的关系，形成整体评估框架。

关键创新：最重要的创新在于将LLMs的概率判断与人类的贝叶斯推断模型进行类比，揭示了其判断中的系统性偏差，提供了新的理解视角。

关键设计：在实验中，设置了多种概率判断的场景，使用了标准的统计分析方法来评估判断的一致性，并通过对比分析展示了LLMs与人类判断的相似性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLMs在相同事件的概率判断中表现出倒U型的均值-方差关系，与人类相似。这一发现揭示了LLMs在概率判断中的系统性偏差，为理解其决策机制提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统和决策支持系统。通过理解LLMs在概率判断中的局限性，可以改进模型设计，提高其在复杂决策场景中的表现，未来可能对人机交互和自动化决策产生深远影响。

📄 摘要（原文）

Autoregressive Large Language Models (LLMs) trained for next-word prediction have demonstrated remarkable proficiency at producing coherent text. But are they equally adept at forming coherent probability judgments? We use probabilistic identities and repeated judgments to assess the coherence of probability judgments made by LLMs. Our results show that the judgments produced by these models are often incoherent, displaying human-like systematic deviations from the rules of probability theory. Moreover, when prompted to judge the same event, the mean-variance relationship of probability judgments produced by LLMs shows an inverted-U-shaped like that seen in humans. We propose that these deviations from rationality can be explained by linking autoregressive LLMs to implicit Bayesian inference and drawing parallels with the Bayesian Sampler model of human probability judgments.