How reliable are LLMs when it comes to playing dice?
作者: Luca Avena, Gianmarco Bet, Bernardo Busoni
分类: cs.CL, cs.AI, cs.HC, math.PR
发布日期: 2026-06-12
💡 一句话要点
评估大型语言模型在概率推理中的可靠性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 概率推理 反直觉问题 链式思维 标记偏差 模型评估 启发式推理
📋 核心要点
- 当前大型语言模型在处理概率推理时存在显著不足，尤其是在反直觉问题上表现不佳。
- 本研究通过构建标准和反直觉练习数据集，评估模型在不同提示下的表现，揭示其推理能力的局限性。
- 实验结果显示，模型在标准问题上准确率高达96%，但在反直觉问题上仅为59%，并且存在显著的标记偏差影响。
📝 摘要（中文）
本研究通过对离散概率问题的控制基准测试，探讨了大型语言模型（LLMs）的概率推理能力。我们构建了两个数据集，分别为标准练习集和反直觉练习集，旨在激发启发式推理，并评估了8个最先进的模型，测试时采用了链式思维提示和不采用链式思维提示。模型在标准问题上的平均准确率为0.96，但在反直觉问题上仅为0.59。此外，我们提供了关于标记偏差的实证证据：当标准表述被伪装变体替换时，性能下降超过20%。在提示中嵌入误导性建议会使性能降低多达34%，没有模型对此表现出免疫。综合来看，尽管当前LLMs在高级数学问题上表现出色，但它们尚未成为真正的概率推理者。
🔬 方法详解
问题定义：本研究旨在评估大型语言模型在概率推理任务中的可靠性，特别是它们在反直觉问题上的表现。现有方法在处理复杂概率问题时，往往依赖于启发式推理，导致准确性不足。
核心思路：通过构建标准和反直觉问题的数据集，结合链式思维提示，评估模型在不同条件下的推理能力，以揭示其潜在的局限性。
技术框架：研究分为数据集构建、模型评估和结果分析三个主要阶段。首先，设计标准和反直觉问题的数据集；其次，评估8个先进模型在不同提示下的表现；最后，分析模型的性能差异及其原因。
关键创新：本研究的创新点在于系统性地评估了大型语言模型在概率推理中的表现，特别是通过引入反直觉问题和标记偏差的概念，揭示了模型的脆弱性。
关键设计：在实验中，采用了多种模型和提示策略，特别是链式思维提示的应用，旨在提高模型的推理能力。同时，设计了标准和伪装变体的问题，以测试模型对不同表述的敏感性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在标准问题上的平均准确率为96%，而在反直觉问题上仅为59%，性能下降显著。此外，替换标准表述为伪装变体导致性能下降超过20%，而嵌入误导性建议则使性能降低多达34%。
🎯 应用场景
该研究的结果对理解大型语言模型在概率推理任务中的局限性具有重要意义，尤其是在教育、决策支持和自动化推理等领域。未来，改进模型的推理能力将有助于提升其在复杂任务中的应用价值。
📄 摘要（原文）
We investigate the probabilistic reasoning capabilities of large language models through a controlled benchmarking study on discrete probability problems. We constructed two datasets, respectively a set of standard exercises and a set of counterintuitive exercises, designed to trigger heuristic reasoning, and evaluated 8 state-of-the-art models, each tested with and without Chain-of-Thought prompting. Models achieve an average accuracy of 0.96 on standard problems but only 0.59 on counterintuitive ones. We further provide empirical evidence of token bias: performance drops by over 20% when canonical formulations are replaced by disguised variants. Embedding misleading suggestions in the prompt reduces performance by up to 34%, with no model proving immune. Taken together, the reported findings suggest that current LLMs are not yet genuine probabilistic reasoners, despite their success in advanced mathematical problems.