FLY-EVAL++: An Evidence-Driven Evaluation Protocol for Safety-Constrained Flight Prediction with Large Language Models

📄 arXiv: 2609.04021v1 📥 PDF

作者: Yalun Wu, Junfeng Fang, Jiawei Wang, Haotian Liu, Qijun Yang, Minghan Yang, Hongcheng Guo, Zhoujun Li, Boyang Wang

分类: cs.AI, cs.LG

发布日期: 2026-09-03

备注: Published as a conference paper at COLM 2026

期刊: Proceedings of the Conference on Language Modeling (COLM), 2026

💡 一句话要点

提出FLY-EVAL++以解决安全约束下的飞行预测评估问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 飞行预测 安全评估 大型语言模型 物理约束 证据驱动 多维评分 模型评估

📋 核心要点

  1. 现有评估方法未能有效测量大型语言模型在安全关键环境中的预测失败模式，导致潜在的安全隐患。
  2. FLY-EVAL++通过结合确定性验证和固定评分标准，提供了一种新的多维度评估方法，专注于安全性和物理可行性。
  3. 实验结果表明，模型在安全评分上存在超过28分的差异，突显了安全合规性在模型评估中的重要性。

📝 摘要（中文）

在安全关键和物理约束的环境中评估大型语言模型（LLMs）需要超越基于准确性的指标，因为即使预测数值接近真实值，也可能违反操作约束、以物理不一致的方式组合领域，或未能产生可用的结构化输出。现有评估协议无法可靠地测量这些失败模式。我们提出FLY-EVAL++，一种证据驱动的评估协议，结合了协议合规性、物理可行性和安全约束的确定性验证，以及固定评分标准的聚合，形成可解释的多维评分。我们通过扩展PilotBench设置，针对飞行轨迹和姿态预测（FTAP）实例化FLY-EVAL++，并进行历史条件和多步预测任务的评估。通过对66个LLMs的评估，发现安全合规性是模型行为中最具区分度的维度。

🔬 方法详解

问题定义：论文旨在解决在安全关键环境中评估大型语言模型时，现有方法无法有效测量模型预测的安全性和物理一致性的问题。

核心思路：FLY-EVAL++通过引入证据驱动的评估协议，结合确定性验证和固定评分标准，确保评估结果不仅关注准确性，还考虑安全和物理约束。

技术框架：该方法包括多个模块：首先进行协议合规性和物理可行性的验证，然后通过固定评分标准对结果进行聚合，最终生成可解释的多维评分。

关键创新：FLY-EVAL++的主要创新在于其综合考虑了安全合规性和结构有效性，使得评估不仅限于准确性，而是全面反映模型在实际应用中的表现。

关键设计：在设计中，采用了历史条件和多步预测任务的扩展，确保评估能够覆盖更复杂的飞行预测场景，同时设置了明确的评分标准以便于结果的解释和比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在66个大型语言模型中，安全合规性是区分模型行为的最重要维度，模型在安全评分上存在超过28分的差异。此外，实验还发现了在物理可行的预测下的安全违规和多步预测的不稳定性，强调了评估方法的必要性。

🎯 应用场景

该研究的潜在应用领域包括无人机飞行控制、航空航天工程和自动驾驶等安全关键的飞行预测任务。通过提供更可靠的评估方法，FLY-EVAL++能够帮助开发更安全的飞行系统，降低事故风险，提升整体飞行安全性。

📄 摘要（原文）

Evaluating large language models (LLMs) in safety-critical, physics-governed environments requires more than accuracy-based metrics, because predictions that are numerically close to the ground truth can still violate operational constraints, combine fields in physically inconsistent ways, or fail to produce usable structured outputs. Existing evaluation protocols do not measure these failure modes reliably. We propose FLY-EVAL++, an evidence-driven evaluation protocol that combines deterministic verification of protocol compliance, physical feasibility, and safety constraints with fixed rubric-guided aggregation into interpretable multi-dimensional scores. We instantiate FLY-EVAL++ for Flight Trajectory and Attitude Prediction (FTAP) by extending the PilotBench setting with history-conditioned and multi-step prediction tasks. Across 66 LLMs, safety compliance is the most discriminative dimension of model behavior: models with comparable predictive performance differ by more than 28 points in safety score, and we observe recurrent failures including safety violations under physically plausible predictions and instability in multi-step rollouts. These results show that evaluation in safety-critical domains should measure constraint satisfaction and structured validity explicitly rather than rely on accuracy-centric reporting alone.