OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment
作者: Seonglae Cho, Adriano Koshiyama
分类: cs.CL
发布日期: 2026-07-29
💡 一句话要点
提出OptimismBench以检测语言模型判断中的偏见问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 偏见检测 决策辅助 概率判断 模型评估 方向性偏差 OptimismBench
📋 核心要点
- 核心问题：现有方法难以检测语言模型判断中的系统性方向性偏差，校准指标无法揭示无符号误差的潜在偏差。
- 方法要点：提出OptimismBench，通过反转对的方式获取成功和失败的概率，从而计算出有符号的偏差分数。
- 实验或效果：在16个模型中发现14个模型表现出乐观偏差，且模型间的偏差在不同语言中表现出一致性。
📝 摘要（中文）
大型语言模型越来越多地被用作决策辅助工具，其概率判断影响下游选择。然而，判断是否存在系统性方向性偏差一直难以检测。现有的校准指标聚合了无符号误差，自然的不确定性也没有真实概率作为基准。本文提出OptimismBench，通过反转对的方式检测方向性偏差，能够在没有真实值的情况下计算出偏差分数。研究表明，在16个来自8个提供商的模型中，有14个表现出乐观倾向，只有Anthropic的前沿模型显示出悲观。我们发布了3870个项目用于模型的方向性偏差审计。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在概率判断中可能存在的系统性方向性偏差问题。现有的校准方法无法有效揭示这些偏差，导致下游决策受到影响。
核心思路：论文提出了OptimismBench，通过反转对的方式同时获取成功和失败的概率，从而计算出有符号的偏差分数。这种方法不依赖于真实概率，能够有效识别模型的偏差。
技术框架：整体架构包括数据收集、模型评估和偏差计算三个主要模块。首先，通过反转对的方式收集模型对成功和失败的概率判断；然后，评估不同模型的表现；最后，计算并分析偏差分数。
关键创新：最重要的创新在于通过反转对的方式实现了无真实值情况下的偏差检测，这与传统的校准方法有本质区别。
关键设计：在实验中，采用了多种模型和语言进行比较，设置了不同的提示、温度和视角等参数，以确保结果的可靠性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在16个模型中，14个模型表现出乐观偏差，且模型间的偏差在不同语言中一致性高达4.7倍。这表明模型身份对语言的影响显著，且在不同模型之间存在明显的偏差差异。
🎯 应用场景
该研究的潜在应用领域包括金融决策、市场分析和风险评估等场景。通过识别和校正语言模型中的偏差，可以提高决策的准确性和可靠性，进而影响实际业务的成功率。未来，OptimismBench有望成为评估和优化语言模型的重要工具。
📄 摘要（原文）
Large language models are increasingly used as decision aids whose probability judgments shape downstream choices. Whether those judgments carry a systematic directional tilt has been hard to detect: calibration metrics aggregate unsigned errors, and naturalistic uncertainty offers no ground-truth probability. When an LLM rates a startup's success at 70% but its failure at 15%, the missing 15 points expose a distortion no aggregate score flags. We introduce OptimismBench, which detects directional bias with inverted pairs: each scenario elicits both P(success) and P(failure), and asymmetry between the two framings yields a signed bias score without ground truth. Across 16 models from 8 providers, fourteen are optimistic; pessimism appears only in Anthropic's frontier tier. Eleven matched base-versus-chat pairs across four families show post-training sets the sign of the bias, with opposite shifts in different families. The pattern survives prompt, temperature, perspective, and self-debiasing ablations. A seventeen-model six-language comparison further shows model identity dominates language, with inter-model variance at 4.7x inter-language variance. We release 3,870 items across 10 languages for per-model directional-bias auditing. When alignment makes a model more helpful, it also tilts its probabilities; downstream pipelines inherit the tilt by default.