Beyond Accuracy: Measuring Logical Compliance of Predictive Models

📄 arXiv: 2606.20208v1 📥 PDF

作者: Guillaume Olivier Delplanque, Pierre Genevès, Nabil Layaïda, Zephirin Faure

分类: cs.AI, cs.DB, cs.NE

发布日期: 2026-06-18

💡 一句话要点

提出规则违规评分（RVS）以解决模型逻辑一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逻辑一致性 机器学习评估 规则违规评分 高风险应用 模型评估指标

📋 核心要点

  1. 现有的机器学习模型评估方法主要关注预测准确性，忽视了逻辑一致性的重要性，尤其在高风险领域。
  2. 本文提出规则违规评分（RVS），作为一种新的评估指标，专注于量化模型遵循逻辑规则的程度。
  3. 在多个基准测试中，RVS揭示了不同模型在逻辑合规性上的显著差异，尽管它们的预测准确性相似。

📝 摘要（中文）

机器学习模型通常通过预测性能指标进行评估，如排名质量、预测误差或分类准确率。然而，这些指标无法评估模型输出是否遵循预定义的逻辑或领域特定约束。在高风险应用中，逻辑一致性与预测准确性同样重要。本文提出了规则违规评分（RVS），作为一种补充评估指标，量化预测模型遵循逻辑规则的程度，独立于预测准确性。RVS区分硬规则和软规则，适用于任何数据集和预测模型，并可通过自动生成的SQL查询计算。我们在知识图谱链接预测和关系回归的三个基准上评估了RVS，结果表明，即使预测准确性相似，模型的逻辑合规性也可能存在显著差异。

🔬 方法详解

问题定义：本文旨在解决现有机器学习模型评估中缺乏逻辑一致性评估的问题。现有方法主要依赖于预测准确性，未能考虑模型输出是否符合逻辑规则，尤其在高风险应用中可能导致严重后果。

核心思路：提出规则违规评分（RVS），作为一种补充评估指标，专注于量化模型遵循逻辑规则的程度。RVS能够独立于预测准确性进行评估，提供更全面的模型表现视角。

技术框架：RVS的计算流程包括对模型输出进行逻辑规则的验证，区分硬规则和软规则，并通过自动生成的SQL查询进行评估。整体架构支持在任何数据集和预测模型上应用。

关键创新：RVS的主要创新在于其能够独立于传统预测性能指标，量化模型的逻辑合规性。这一方法使得研究者能够识别和评估模型在逻辑规则遵循方面的表现，填补了现有评估方法的空白。

关键设计：RVS的设计包括对硬规则和软规则的不同处理，确保评估的灵活性和适用性。此外，自动生成的SQL查询使得RVS的计算过程高效且易于实现。通过这些设计，RVS能够在多种模型和数据集上进行有效评估。

📊 实验亮点

实验结果显示，使用RVS评估的模型在逻辑合规性方面存在显著差异。例如，两个模型在预测准确性上相似，但在逻辑一致性评分上却有明显不同，揭示了标准评估指标无法捕捉的模型行为差异。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和自动化系统等高风险场景。在这些领域，确保模型输出的逻辑一致性至关重要。RVS的引入能够帮助开发者和研究者更好地理解和优化模型，从而提高决策的可靠性和安全性。

📄 摘要（原文）

Machine learning models are predominantly evaluated through predictive performance metrics such as ranking quality, prediction error, or classification accuracy. While these metrics effectively quantify how closely predictions match the ground truth, they do not assess whether model outputs respect predefined logical or domain-specific constraints. In high-stakes applications, including healthcare, finance, and autonomous systems, logical consistency can be as critical as predictive accuracy, yet no standard metric captures this dimension. We introduce the Rule Violation Score (RVS), a complementary evaluation metric that quantifies the extent to which a predictive model respects a given set of logical rules, independently of predictive accuracy. RVS treats hard rules (strict constraints) and soft rules (statistical regularities) differently, can be evaluated on any dataset and on any predictive model expressed over a relational vocabulary, and can be computed using SQL queries that are automatically generated for Horn rules. Beyond evaluating models, RVS can also evaluate the logical consistency of training datasets and help identify poorly defined rules. We evaluate RVS on three benchmarks covering knowledge graph link prediction and relational regression, including rule-based, embedding-based, and neuro-symbolic predictive models. Our results demonstrate that two models achieving comparable predictive accuracy can exhibit substantially different levels of logical compliance, revealing differences in model behavior that standard metrics fail to capture.