Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models

📄 arXiv: 2606.26079v1 📥 PDF

作者: Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli

分类: cs.CL, cs.CV, cs.LG

发布日期: 2026-06-24

备注: 22 pages, 4 figures, 5 tables

💡 一句话要点

提出Facet-Probe以审计多模态大语言模型的顺序敏感性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 顺序敏感性 贝叶斯模型 模型审计 鲁棒性评估 AI评估标准 提示工程

📋 核心要点

  1. 现有的多模态大语言模型基准测试未能考虑顺序对答案的影响，导致评估结果的不可靠性。
  2. 本文提出Facet-Probe，通过五个方面审计MLLMs，利用贝叶斯模型分离顺序噪声与偏差。
  3. 实验结果显示，18个MLLMs均存在顺序敏感性，最佳模型在13.4%的试验中仍会翻转答案。

📝 摘要（中文）

现有的多模态大语言模型（MLLMs）基准测试仅依据单一标准顺序评分，未能评估顺序无关的洗牌是否会改变答案。为此，本文引入Facet-Probe，一个包含五个方面的审计方法，评估18个前沿和开放权重的MLLMs。通过贝叶斯项目反应模型，分离顺序噪声与每个方面的偏差。研究发现，所有被审计的MLLMs均存在顺序不变性问题，面板均值翻转率在24%至50%之间。本文结果表明，单靠提示级别的缓解措施难以提供通用的顺序鲁棒性，未来需探索训练时和架构方面的改进。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在顺序敏感性方面的不足，现有方法未能评估顺序无关的洗牌对答案的影响，导致评估结果不可靠。

核心思路：论文提出Facet-Probe，通过五个方面的审计方法，利用贝叶斯项目反应模型分离顺序噪声与偏差，从而更准确地评估模型的顺序鲁棒性。

技术框架：整体架构包括数据收集、模型审计和结果分析三个主要阶段。首先收集18个MLLMs的输出数据，然后应用贝叶斯模型进行分析，最后评估不同方面的顺序敏感性。

关键创新：最重要的创新在于引入了五个方面的审计方法，能够全面评估模型在不同条件下的顺序敏感性，这与现有方法的单一顺序评估形成鲜明对比。

关键设计：在实验中，采用贝叶斯项目反应模型来分离顺序噪声与偏差，设置了同顺序控制以估计解码器的随机噪声底线，确保结果的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，18个被审计的MLLMs均存在顺序敏感性，面板均值翻转率在24%至50%之间。即使是性能最佳的模型，在13.4%的试验中仍会出现答案翻转。这表明现有模型在顺序鲁棒性方面的不足，提示未来研究的方向。

🎯 应用场景

该研究的潜在应用领域包括多模态AI系统的评估与优化，尤其是在需要高可靠性的场景，如自动驾驶、医疗影像分析等。通过提高模型的顺序鲁棒性，可以增强其在实际应用中的稳定性和可信度，推动多模态技术的进一步发展。

📄 摘要（原文）

Standard benchmarks for multimodal large language models (MLLMs) score each item on one canonical ordering and miss whether order-irrelevant shuffling changes the answer, a baseline reliability property called for by emerging AI evaluation guidelines. We introduce Facet-Probe, a five-facet audit (option, evidence-chunk, document-rank, image-set, and mixed-modality ordering) of 18 frontier and open-weight MLLMs. A Bayesian item-response model separates ordering noise from per-facet bias, and a same-ordering control estimates the decoder-stochastic floor for observed flips. We find that none of the 18 MLLMs we audit are order-invariant: screened per-facet panel-mean flip rates span 24-50%. A Gemini same-ordering control at temperature 0 estimates a substantial ordering excess over a same-input decoder-noise floor in verified cells. Capability predicts but does not eliminate flips; the best model still flips on 13.4% of trials. In our Gemini mitigation tests, training-free prompt changes are modality-conditional and do not transfer from text to visual reasoning. These results suggest that prompt-level mitigation alone is unlikely to provide general order robustness, motivating future work on training-time and architectural approaches. We propose cross-ordering flip rate as a standard reporting axis for MLLMs.