Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge
作者: Alex Brooker, Tim Hughes
分类: cs.AI, cs.CL
发布日期: 2026-07-05
💡 一句话要点
提出Pre-Flight基准以评估航空运营知识中的大型语言模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 航空运营 大型语言模型 评估基准 多项选择题 安全性评估 行业专家 人工智能
📋 核心要点
- 现有的通用基准无法有效评估大型语言模型在航空特定运营知识方面的推理能力，导致高风险领域的安全隐患。
- 本文提出Pre-Flight基准，包含300道多项选择题，专注于航空运营知识的评估，旨在填补这一评估空白。
- 实验结果显示，当前最强模型的准确率为82.7%，尽管有所提升，但仍显著低于航空专家的水平，表明存在持续的评估差距。
📝 摘要（中文）
大型语言模型（LLMs）在航空业务操作中越来越受到关注，包括文档和培训生成以及客户服务助手。然而，现有的通用基准无法有效评估模型在航空特定运营知识方面的推理能力。为此，本文提出了Pre-Flight，一个开放源代码的基准，包含300道多项选择题，涵盖国际机场地面操作、ICAO和美国FAA法规、航空一般知识及复杂操作场景。问题由具有空中交通管理、地面操作和商业飞行经验的从业者撰写和审核。我们使用Inspect评估框架对多种商业和开源模型进行评估，结果显示即使是最强模型的准确率也仅为82.7%，远低于专家水平的95%。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在航空运营知识推理方面的评估不足，现有方法无法满足高风险领域的安全要求。
核心思路：提出Pre-Flight基准，通过300道多项选择题，专注于航空领域的具体知识评估，以确保模型在实际应用中的可靠性。
技术框架：整体架构包括题库构建、模型评估和结果发布三个主要模块。题库由行业专家撰写，评估使用Inspect框架进行准确性评分。
关键创新：Pre-Flight基准的创新在于其针对航空领域的专用评估，填补了通用基准无法覆盖的特定知识空白，确保模型的安全性和有效性。
关键设计：题库中的问题涵盖国际标准和地面操作材料，评估过程中采用标准的多项选择协议，确保评估结果的公正性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，当前最强的模型在Pre-Flight基准上的准确率为82.7%，相比于2025年初的75%有所提升，但仍低于航空专家的95%水平，表明该领域的评估仍需进一步加强。
🎯 应用场景
该研究的潜在应用领域包括航空公司、机场管理和飞行培训等，能够帮助这些领域更好地评估和部署大型语言模型，确保其在非安全关键操作中的可靠性。未来，随着模型的不断发展，Pre-Flight基准将为航空行业提供更为安全和高效的AI解决方案。
📄 摘要（原文）
Large language models (LLMs) are increasingly proposed for aviation business operations, from documentation and training generation to customer facing assistants. General purpose benchmarks do not measure whether a model reasons safely and correctly about aviation specific operational knowledge, and the high stakes, regulated nature of the domain makes that gap consequential. We present Pre-Flight, an open source benchmark of 300 multiple choice questions drawn from international standards and airport ground operations material, covering international airport ground operations, ICAO and US FAA regulations, aviation general knowledge and complex operational scenarios. Questions were authored and reviewed by practitioners with experience in air traffic management, ground operations and commercial flying. We evaluate a range of contemporary commercial and open weight models using the Inspect evaluation framework, scoring by accuracy under a standard multiple choice protocol, and we maintain the leaderboard on a rolling basis as new models are released. Against an informal expert reference of around 95%, obtained from a low sample quiz of aviation professionals at a conference, even the strongest model evaluated (released in 2026) reaches 82.7%, having improved only gradually from roughly 75% in early 2025. A substantial and persistent gap below expert level reliability therefore remains. We release the dataset, the evaluation harness and the results, and the benchmark is available within the community evaluations package distributed with inspect_evals. We argue that domain specific evaluation of this kind is a necessary precondition for responsible deployment of generative AI in non safety critical aviation operations.