SpecEval: Evaluating Model Adherence to Behavior Specifications

📄 arXiv: 2509.02464v2 📥 PDF

作者: Ahmed Ahmed, Kevin Klyman, Yi Zeng, Sanmi Koyejo, Percy Liang

分类: cs.CL

发布日期: 2025-09-02 (更新: 2025-10-22)

💡 一句话要点

SpecEval：评估大模型行为规范一致性，发现高达20%的合规性差距。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 行为规范 一致性评估 自动化审计 安全性 可靠性 可信度

📋 核心要点

  1. 大型模型开发者发布行为准则，但模型是否真正遵守这些准则缺乏系统性评估。
  2. SpecEval框架通过解析行为规范、生成针对性提示，并使用模型自身进行一致性判断。
  3. 实验发现，不同提供商的模型在遵守行为规范方面存在显著差异，合规性差距高达20%。

📝 摘要（中文）

本文提出了一种自动化的框架SpecEval，用于审计大型语言模型（LLM）是否遵守其开发者发布的行为规范。该框架通过解析行为声明、生成针对性提示，并利用模型自身作为裁判来判断一致性。核心在于建立提供者规范、模型输出和模型裁判之间的三方一致性，这是对以往生成器-验证器两方一致性的扩展。研究表明，大型模型至少应在开发者提供的评估模型判断下，始终如一地满足开发者的行为规范。该框架应用于来自六个开发者的16个模型，针对100多个行为声明进行评估，发现系统性的不一致性，包括高达20%的合规性差距。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）开发者通常会发布行为规范，声明其模型应遵循的安全性约束和定性特征。然而，目前缺乏一种系统性的方法来审计模型是否真正遵守这些规范。现有的两方一致性（例如生成器-验证器）方法不足以全面评估模型行为。

核心思路：SpecEval的核心思路是建立一个三方一致性框架，即提供者规范、模型输出和模型裁判之间的一致性。这意味着，模型不仅要生成符合规范的输出，而且模型自身也应该能够判断其输出是否符合规范。如果模型无法做到这一点，则表明其行为存在不一致性。

技术框架：SpecEval框架包含以下三个主要模块：1) 行为声明解析器：解析开发者发布的行为规范，提取关键信息。2) 提示生成器：根据解析后的行为规范，生成针对性的提示，用于测试模型的行为。3) 一致性评估器：使用模型自身作为裁判，判断模型输出是否符合行为规范。该模块通过比较模型输出和行为规范，计算一致性得分。

关键创新：SpecEval的关键创新在于引入了三方一致性评估，扩展了传统的两方一致性方法。通过使用模型自身作为裁判，可以更全面地评估模型的行为，并发现潜在的不一致性。此外，SpecEval框架是自动化的，可以大规模地审计模型，而无需人工干预。

关键设计：SpecEval框架的关键设计包括：1) 提示工程：设计有效的提示，以触发模型在特定行为规范下的行为。2) 一致性度量：定义合适的一致性度量指标，以量化模型输出与行为规范之间的差异。3) 模型选择：选择合适的模型作为裁判，以确保评估的准确性。论文中没有明确说明具体的参数设置、损失函数或网络结构，这些可能取决于具体的模型和行为规范。

📊 实验亮点

实验结果表明，SpecEval框架能够有效地发现大型模型在遵守行为规范方面的系统性不一致性。在对来自六个开发者的16个模型进行评估后，发现高达20%的合规性差距。这意味着，即使是声称遵循特定行为规范的模型，也可能在某些情况下违反这些规范。这些发现突显了对大型模型进行持续审计的必要性。

🎯 应用场景

SpecEval可用于评估和改进大型语言模型的安全性、可靠性和可信度。它可以帮助开发者识别模型行为中的潜在问题，并采取相应的措施进行修复。此外，SpecEval还可以用于监管机构对大型模型进行审计，确保其符合相关的法律法规和伦理标准。该研究有助于推动负责任的人工智能发展。

📄 摘要（原文）

Companies that develop foundation models publish behavioral guidelines they pledge their models will follow, but it remains unclear if models actually do so. While providers such as OpenAI, Anthropic, and Google have published detailed specifications describing both desired safety constraints and qualitative traits for their models, there has been no systematic audit of adherence to these guidelines. We introduce an automated framework that audits models against their providers specifications by parsing behavioral statements, generating targeted prompts, and using models to judge adherence. Our central focus is on three way consistency between a provider specification, its model outputs, and its own models as judges; an extension of prior two way generator validator consistency. This establishes a necessary baseline: at minimum, a foundation model should consistently satisfy the developer behavioral specifications when judged by the developer evaluator models. We apply our framework to 16 models from six developers across more than 100 behavioral statements, finding systematic inconsistencies including compliance gaps of up to 20 percent across providers.