LLM-Based Test Oracles: Source-of-Authority Taxonomy -- A Systematic Literature Review

📄 arXiv: 2607.05031v1 📥 PDF

作者: Ali Hassaan Mughal, Muhammad Bilal

分类: cs.SE, cs.AI

发布日期: 2026-07-06

备注: 15 pages, 10 figures, 7 tables. Systematic literature review. Submitted to IEEE Access

💡 一句话要点

提出基于LLM的测试预言机权威来源分类以解决信任问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 测试预言机 权威来源 系统文献综述 软件测试 信任评估 裁决机制

📋 核心要点

  1. 现有研究未能系统性地整理LLM生成的测试预言机的权威来源，导致信任度评估困难。
  2. 本文提出了一种基于权威来源的分类方法，系统分析了54项相关研究，揭示了预言机的多样性和复杂性。
  3. 研究结果显示，规范导出的权威是最常见的来源，但仍有大量研究未依赖规范，提示未来研究方向。

📝 摘要（中文）

大型语言模型（LLMs）在生成测试预言机方面的应用日益增加，然而缺乏对这些预言机权威来源的清晰阐述。以往的研究主要按预言机形式或LLM技术进行分类，而未能从裁决权威来源的角度进行系统性整理。本文在PRISMA 2020指南下进行系统文献综述，从2436条记录中筛选出54项研究，分析了预言机权威来源、形式及裁决机制。研究发现，尽管规范导出的权威是最常见的来源，但仍有26项研究未依赖任何规范。本文还探讨了这些预言机的评估方式及其失败情况，并将分类中的稀疏区域视为未来研究的议程。

🔬 方法详解

问题定义：本文旨在解决当前LLM生成测试预言机时缺乏对权威来源的系统性理解的问题。现有研究多集中于预言机的形式或技术，而未关注裁决权威的来源及其信任度评估的挑战。

核心思路：论文通过系统文献综述的方法，提出了一种基于权威来源的分类框架，分析了不同研究的权威来源、形式及裁决机制，以便更好地理解LLM在测试中的应用。

技术框架：整体流程包括文献筛选、双人独立评审和全文评估，最终形成54项研究的分析框架。研究从权威来源、预言机形式及裁决机制三个维度进行深入探讨。

关键创新：本文的创新在于首次从权威来源的角度对LLM生成的测试预言机进行系统分类，揭示了不同来源与裁决机制之间的交叉关系，提供了新的研究视角。

关键设计：研究采用PRISMA 2020指南进行文献筛选，使用Cohen's kappa评估评审者一致性，确保了结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究结果表明，规范导出的权威来源占54项研究中的28项，显示出其在LLM生成测试预言机中的重要性。同时，26项研究未依赖任何规范，提示了该领域的研究空白和未来的探索方向。

🎯 应用场景

该研究为软件测试领域提供了新的视角，尤其是在利用LLM生成测试预言机时，能够帮助研究人员和工程师更好地理解和评估预言机的权威来源。这一分类框架可为未来的研究和实践提供指导，促进LLM在软件测试中的应用和发展。

📄 摘要（原文）

Large language models (LLMs) are increasingly used to produce test oracles, the part of a test that decides whether observed behavior is correct. Yet a clear account of where these oracles draw their authority is missing. Prior secondary studies organize the area by oracle form or by LLM technique. None organizes it by the source of the verdict's authority, the property that governs how far a verdict can be trusted. This article presents a systematic literature review, conducted and reported under the PRISMA 2020 guidelines. From 2,436 records, an LLM pre-filter followed by independent dual human screening (reviewer agreement, a Cohen's kappa of 0.79) and full-text assessment yielded 54 included studies. We analyze these along three axes: the source of an oracle's authority, the form it takes, and the mechanism that adjudicates it. We characterize the landscape of domains, languages, models, and adaptation strategies. Specification-derived authority, though the most common single source, covers about half of the studies (28 of 54). The remaining 26 reach a verdict with no specification at all. The source of authority and the adjudication mechanism cross-cut: the same source is checked by several mechanisms and one mechanism serves several sources, so a label such as LLM-as-a-judge names a mechanism rather than a basis for trust. We further report how these oracles are evaluated and how they fail, and read the sparse and empty regions of the taxonomy as a research agenda. The protocol, search query, and per-study coding sheet are released as supplementary material.