Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?
作者: Mingyang Song, Mao Zheng, Zhiyuan Ma, Xinpeng Zhou
分类: cs.CL
发布日期: 2026-10-26
💡 一句话要点
探讨Jev风格系统一模型的结构是否减少选择偏差
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 选择偏差 大型语言模型 Jev风格模型 多选任务 决策结构 实验比较 自然语言处理
📋 核心要点
- 选择偏差在大型语言模型中普遍存在，尽管有指示忽略呈现顺序的尝试。
- 本文通过固定问题和候选内容的选项洗牌测试，探讨Jev风格决策结构的影响。
- 实验结果显示，Jev模型的准确性变化不大，但累计失败显著增加，揭示了选择偏差的复杂性。
📝 摘要（中文）
尽管大型语言模型（LLMs）在忽略呈现顺序或引导推理的提示方面进行了指示，选择偏差仍然存在。本文通过对Jev风格系统一行为的模型进行系统比较，探讨了其决策结构是否能减少选择偏差。研究表明，Jev模型的准确性在不同呈现中变化不大，但其累计失败集相较于原始顺序扩大了27-29%。这些结果揭示了稳定准确性与在等效呈现中保持正确决策之间的差距，表明仅靠稳定准确性无法证明抵抗选择偏差的能力。
🔬 方法详解
问题定义：本文旨在解决Jev风格系统一模型在多选任务中的选择偏差问题。现有方法在不同呈现顺序下的表现差异尚未得到充分研究。
核心思路：通过对选项进行洗牌，同时保持问题和候选内容不变，来评估Jev模型的选择偏差。此方法能够系统性地比较不同模型在多选任务中的表现。
技术框架：研究涉及对两种Jev版本、十二种Jev再现模型和六种生成型LLMs的比较。实验通过对1700个问题的多次呈现进行分析，评估模型的准确性和选择偏差。
关键创新：本研究的创新在于系统性地比较了Jev模型与生成型LLMs在选择偏差方面的表现，揭示了Jev模型在固定顺序和随机顺序下的表现差异。
关键设计：实验设计中，使用了固定问题和候选内容的选项洗牌，确保了对比的公平性。结果表明，Jev模型的准确性在不同呈现中变化不大，但其累计失败集显著扩大。实验还探讨了投票机制对选择偏差的影响。
📊 实验亮点
实验结果显示，Jev模型的准确性在不同呈现中变化不超过两个百分点，但其累计失败集相较于原始顺序扩大了27-29%。即使在高度重复的Jev再现模型中，首次失败的情况仍然持续到最后一次呈现，揭示了选择偏差的复杂性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、决策支持系统和人机交互等。通过理解选择偏差的机制，可以改进模型的设计，提升其在多选任务中的表现，进而增强用户体验和决策质量。
📄 摘要（原文）
Selection bias in large language models (LLMs) can persist despite instructions to ignore presentation order or prompts that elicit reasoning. Recent efforts to reproduce Jev-style System One behavior have produced a growing family of models that predict probabilities directly over supplied candidates. Yet systematic comparisons of selection bias across Jev versions, Jev reproductions, and generative LLMs remain limited in multi-option tasks. This leaves a central question: does Jev-style decision structure reduce selection bias? We address this question with a simple test that shuffles options while keeping question and candidate content fixed. Across two Jev versions, twelve Jev reproductions, and six generative LLMs, we trace individual answers through eight presentations and compare them with fixed-order repetition. On our primary collection of 1,700 questions from two benchmarks, Jev's accuracy varies by less than two percentage points, yet its cumulative failure set expands by 27--29\% relative to the original order, with first failures continuing into the final presentation. This loss of initial successes is substantially larger than under fixed-order repetition, even for highly repeatable Jev reproductions. Nor does Jev show a general advantage over the LLM baselines in preserving correct choices. Aggregation offers limited protection: voting yields modest gains for Jev, while even unanimous answers are frequently wrong. These results expose a gap between repeatable decisions and decisions that remain correct across equivalent presentations, showing why stable accuracy alone cannot establish resistance to selection bias.