SERIAL-7: Deriving, Realizing, and Preserving Machine-Verifiable Outputs Across Representations

📄 arXiv: 2610.41308v1 📥 PDF

作者: Youngkyung Seo, MiHyeon Kim, Jisoo Lee, Hwijung Ryu

分类: cs.AI, cs.CL

发布日期: 2026-10-30

备注: NeurIPS 2026 Workshop on AI for Verifiable Coding

💡 一句话要点

提出SERIAL-7以解决机器可验证输出生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器可验证输出 结构化生成 可执行验证 语义推导 工件生成 跨表示保持 大型语言模型

📋 核心要点

  1. 现有方法在生成结构化输出时，缺乏有效的可执行验证机制，导致语义正确性无法保证可靠执行。
  2. SERIAL-7通过构建一个可执行验证框架，分离语义推导、工件生成和跨表示保持，提供了一种新的验证方法。
  3. 实验结果显示，REALIZE-L3 HSR在不同模型中表现出42.0%到93.9%的范围，揭示了额外的工件级失败，强调了验证的重要性。

📝 摘要（中文）

大型语言模型越来越多地生成由程序和下游系统消费的结构化输出，仅有语义正确性并不能保证可靠执行。我们介绍了SERIAL-7，这是一个围绕可执行验证框架构建的韩英基准，旨在实现跨七种表示的机器可验证生成。通过177个经过验证的标准工件，SERIAL-7将语义推导（Derive）、受限工件生成（Realize）和跨表示保持（Preserve）分开。其43个原子表示约束与格式、结构和任务特定语义的可执行检查相结合，使得从表示合规性到完整工件有效性的逐步严格验证成为可能。在十个模型中，REALIZE-L3 HSR的范围从42.0%到93.9%，而完全合规性揭示了超出正确最终答案和有效表示的额外工件级失败。这些结果表明，可靠的结构化生成需要明确的、可执行的验证，以确保工件在不同表示间的实现和保持。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型生成的结构化输出在语义正确性与执行可靠性之间的矛盾。现有方法往往忽视了可执行验证，导致生成的输出在实际应用中可能出现错误。

核心思路：SERIAL-7的核心思路是通过构建一个可执行验证框架，将生成过程分为语义推导、工件生成和跨表示保持三个阶段，从而确保生成的输出在不同表示间的一致性和有效性。

技术框架：SERIAL-7的整体架构包括三个主要模块：语义推导（Derive）、工件生成（Realize）和跨表示保持（Preserve）。每个模块都有相应的验证机制，确保输出的格式、结构和语义符合预期。

关键创新：SERIAL-7的主要创新在于引入了43个原子表示约束，并结合可执行检查，提供了从表示合规性到完整工件有效性的逐步验证机制。这一方法与传统的仅依赖语义正确性的验证方式有本质区别。

关键设计：在设计中，SERIAL-7采用了多层次的验证策略，结合了格式、结构和任务特定语义的检查，确保每个生成工件都经过严格的验证。此外，实验中使用的177个标准工件为验证提供了坚实的基础。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SERIAL-7在十个模型中的REALIZE-L3 HSR表现范围为42.0%到93.9%，而完全合规性测试揭示了额外的工件级失败。这些结果强调了可执行验证在确保生成输出可靠性中的重要性。

🎯 应用场景

SERIAL-7的研究成果在多个领域具有潜在应用价值，包括自然语言处理、程序生成和自动化测试等。通过提供可靠的结构化输出生成机制，该方法可以提升智能系统的执行效率和准确性，推动相关技术的进一步发展。

📄 摘要（原文）

Large language models increasingly generate structured outputs consumed by programs and downstream systems, where semantic correctness alone does not guarantee reliable execution. We introduce SERIAL-7, a Korean-English benchmark built around an executable verification framework for machine-verifiable generation across seven representations. Using 177 validated canonical artifacts, SERIAL-7 separates semantic derivation (Derive), constrained artifact generation (Realize), and cross-representation preservation (Preserve). Its 43 atomic representation constraints are paired with executable checks over format, structure, and task-specific semantics, enabling progressively stricter verification from representation compliance to full artifact validity. Across ten models, REALIZE-L3 HSR ranges from 42.0% to 93.9%, while Full Compliance exposes additional artifact-level failures beyond correct final answers and valid representations. These results show that reliable structured generation requires explicit, executable verification of how artifacts are realized and preserved across representations.