Measuring consistency via ensemble margin and local prediction variability: Auditing decision systems in the presence of predictive multiplicity

📄 arXiv: 2609.01397v1 📥 PDF

作者: Sinjini Banerjee, Tim Marrinan, Anand D. Sarwate

分类: stat.ML, cs.AI, cs.LG

发布日期: 2026-09-01

💡 一句话要点

提出一致性测量方法以审计决策系统中的预测多样性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Rashomon效应 集成学习 预测一致性 局部变异性 决策系统审计

📋 核心要点

  1. 现有方法主要关注单个模型的预测多样性，未能充分理解复杂决策系统中的Rashomon效应。
  2. 本文提出了一种新的审计标准，结合集成边际与局部预测变异性，以提高决策系统的预测一致性。
  3. 实验结果表明，使用Rashomon集的模型集成显著降低了错误预测的风险，相比单一模型的审计效果更佳。

📝 摘要（中文）

Rashomon效应是机器学习中的一种现象，指的是多个同样准确的模型对相同输入产生不同预测。现有研究主要集中在单个模型的多样性上，而在复杂决策系统中，Rashomon效应的影响尚不明确。本文从审计不正确的集成预测的角度研究多样性，提出了一种结合集成边际和局部预测变异性的稳定性标准。通过实验验证，该方法在自然语言理解和表格数据分类任务中表现出色，显著降低了错误预测的风险，同时仅带来了适度的审计增加。

🔬 方法详解

问题定义：本文旨在解决在复杂决策系统中，如何有效审计由于Rashomon效应导致的预测多样性问题。现有方法对集成模型的审计缺乏有效的标准，导致错误预测未被及时识别。

核心思路：论文提出了一种新的一致性评分标准，结合集成边际和局部预测变异性，能够更好地评估模型的预测一致性，从而提高审计的准确性。

技术框架：整体框架包括三个主要模块：首先，计算每个模型的局部预测变异性；其次，结合集成边际计算一致性评分；最后，根据评分决定是否将实例转交人工审核。

关键创新：最重要的创新在于提出了一种新的一致性评分标准，该标准比现有的一致性度量更能准确捕捉Rashomon集中的预测多样性，提供了更可靠的审计依据。

关键设计：在参数设置上，论文对集成模型的规模和局部预测样本数量进行了优化，以确保一致性评分的收敛性和稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Rashomon集的模型集成相比单一模型审计，错误预测风险降低了显著的比例，且在某些数据集上，风险接近于零。整体审计的效率提升仅伴随适度的人工审核增加，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括金融风险评估、医疗诊断和自动驾驶等需要高可靠性的决策系统。通过提高审计的准确性，可以有效降低错误决策的风险，提升系统的安全性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

The Rashomon effect is a machine learning phenomenon where equally accurate models produce different predictions for the same inputs (predictive multiplicity). Existing work primarily focuses on multiplicity within individual models, but in more complex decision systems, the impact of the Rashomon effect is less well understood. In this work, we study multiplicity from the perspective of auditing incorrect ensemble predictions, where the decision to divert an instance for human review is based on a consistency criterion that combines the ensemble margin with a measure of local prediction variability for each constituent model. With mild assumptions about stability and smoothness, we show that the consistency scores of finite ensembles converge to the corresponding consistency score of the expected model from the Rashomon set as the ensemble size and the number of samples used to measure local prediction variability increase. To demonstrate the efficacy of the proposed criterion, we evaluate the framework with respect to transformer models applied to natural language understanding tasks and parameter-efficient fine-tuning of large language models used for tabular data classification tasks. Our experiments show that ensembling models from the Rashomon set substantially reduces the risk of incorrect predictions going unchecked compared with auditing a single model, while incurring only a moderate increase in the number of diversions. Moreover, the auditing behavior of the full Rashomon set can be closely approximated by finite ensembles of relatively modest size, with the risk approaching zero for some datasets. We further demonstrate that the proposed measure exhibits stronger agreement with established predictive multiplicity metrics than existing consistency measures, providing a more reliable way to capture multiplicity in the Rashomon set.