AeroCopilotBench: A Two-Tier Benchmark for Evaluating LLM Agents as Aviation Copilots in an Interactive Virtual Cockpit Environment
作者: Yuchen Yuan, Zhenghuang Wu, Yuangan Li, Liang Ma, Ke Li
分类: cs.AI
发布日期: 2026-08-17
备注: 38 pages, 7 figures, 6 tables
💡 一句话要点
提出AeroCopilotBench以解决航空领域LLM代理评估问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 航空副驾驶 大型语言模型 交互式环境 程序执行 安全评估 虚拟驾驶舱 评估基准 应急任务
📋 核心要点
- 现有航空评估方法主要集中在静态知识，无法有效测试LLM代理在动态交互环境中的程序执行和安全合规性。
- 论文提出了AeroCopilotBench和ACOE，构建了一个可重复的交互式虚拟驾驶舱测试环境，支持程序执行的系统性评估。
- 在12个模型的实验中，最高的Tier-2成功率为72.6%，显示出静态知识与程序执行之间的差异和挑战。
📝 摘要（中文）
大型语言模型（LLM）代理可以协助飞行机组进行复杂决策和任务执行，但现有的航空评估主要集中在静态知识上，无法系统性地测试交互环境中的程序执行和安全合规性。本文提出了航空副驾驶操作环境（ACOE）和AeroCopilotBench，一个两级航空代理评估基准。第一级通过1200道选择题评估航空知识，第二级则包含73个来自飞行手册的紧急和异常任务。ACOE将自然语言程序转换为可执行的状态转换和安全约束，建立了安全门控评估框架。实验结果显示，12个模型中最高的成功率为72.6%。
🔬 方法详解
问题定义：本文旨在解决现有航空评估方法无法有效测试LLM代理在动态交互环境中的程序执行和安全合规性的问题。现有方法主要依赖静态知识，缺乏对复杂任务执行的系统性评估。
核心思路：论文的核心思路是构建一个可重复的交互式虚拟驾驶舱环境（ACOE），并通过AeroCopilotBench提供两级评估基准，以系统性地测试LLM代理的航空知识和程序执行能力。
技术框架：整体架构包括ACOE和AeroCopilotBench两个主要模块。ACOE负责将自然语言程序转换为可执行的状态转换和安全约束，而AeroCopilotBench则通过选择题和任务评估来测试模型的航空知识和应急反应能力。
关键创新：最重要的技术创新点在于建立了一个安全门控评估框架，确保任务成功的同时不违反任何安全约束。这一设计使得模型在执行任务时能够更好地考虑安全因素。
关键设计：在评估过程中，采用了1200道选择题和73个紧急任务，结合自然语言处理技术，将程序转化为可执行的状态和目标条件，确保模型能够有效理解和执行复杂的航空任务。实验中还分析了451个失败案例，识别出程序完整性和状态反馈使用中的常见问题。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在12个模型中，Tier-2的最高成功率为72.6%。此外，静态知识的表现并未能一致转化为程序执行的成功，分析失败案例揭示了在程序完整性和状态反馈使用方面的常见问题，这为未来的研究提供了重要的改进方向。
🎯 应用场景
该研究的潜在应用领域包括航空培训、飞行模拟器和自动驾驶系统等。通过提供一个标准化的评估框架，AeroCopilotBench可以帮助航空公司和培训机构更有效地评估和提升飞行员和自动化系统的决策能力与安全性，未来可能对航空安全和效率产生积极影响。
📄 摘要（原文）
Large language model (LLM) agents may assist flight crews with complex decisions and task execution, but existing aviation evaluations centered on static knowledge do not support systematic testing of procedural execution and safety compliance in interactive environments. This paper presents the AeroCopilot Operational Environment (ACOE), a reproducible interactive virtual-cockpit test environment, and AeroCopilotBench, a two-tier aviation agent evaluation benchmark. Tier-1 evaluates aviation knowledge using 1,200 multiple-choice questions, while Tier-2 comprises 73 emergency and abnormal tasks derived from the manufacturers' Pilot's Operating Handbooks (POHs) and instantiated in ACOE. ACOE converts natural-language procedures into executable state transitions, final-state goal conditions, and hard safety constraints, enabling models to interpret cockpit state, diagnose faults, and operate aircraft systems through standardized tool interfaces. We establish a safety-gated evaluation framework in which a trajectory succeeds only when all task goals are achieved without violating any hard safety constraint, while safe goal progress and trajectory safety are measured separately. Across 12 models, the highest Tier-2 success rate is 72.6%, while static knowledge performance does not consistently translate into procedural execution. Analysis of 451 failed episodes from 3 representative models identifies recurring failures in procedural completeness, use of state feedback, and long-horizon execution management. These findings motivate state-aware agent orchestration, joint assessment of task completion and trajectory safety, and repeated regression testing. ACOE and AeroCopilotBench provide a reproducible foundation for testing knowledge application, interactive execution, and operational safety in aviation agents.