OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation

📄 arXiv: 2610.39287v2 📥 PDF

作者: Junli Liu, Zhongrui You, Chenhui Li, Zhen Li, Yuyang Tian, Qizhen Chen, Delin Qu, Haoming Song, Dong Wang, Xuelong Li, Zhigang Wang, Bin Zhao

分类: cs.RO

发布日期: 2026-10-29 (更新: 2026-10-30)

备注: 12page, 6figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出OpenFlyV2以解决无人机感知与导航的多模态融合问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无人机导航 视觉-语言模型 多模态融合 闭环控制 自主飞行

📋 核心要点

  1. 现有的无人机系统往往专注于单一能力，无法在资源受限的平台上实现闭环操作，限制了其应用范围。
  2. OpenFlyV2通过统一的视觉-语言-动作架构，支持语义理解和空间推理，提升了无人机的自主导航能力。
  3. 在四个真实环境中，OpenFlyV2实现了48%的导航成功率，展示了其在无真实训练数据情况下的有效性。

📝 摘要（中文）

人类认知灵活地利用共享的感知基础来理解环境、关注参考实体、推理空间关系并采取行动。赋予空中机器人类似的功能组织仍然具有挑战性，因为现有系统通常专注于单一能力，依赖于离线计算，或无法在资源受限的平台上维持闭环操作。我们提出OpenFlyV2，这是一种统一的机载视觉-语言-动作架构，利用共享的视觉-语言表示来支持语义理解、语言引导的感知、空间推理和连续的空中控制。通过构建一个包含约70,000条导航轨迹和60,000对视觉-语言指令-响应对的模拟数据集，OpenFlyV2能够在10 Hz的频率下完全在机载环境中生成每个包含12个航点的动作块，并实现从模拟到物理四旋翼飞行的零样本迁移，成功率达到48%。

🔬 方法详解

问题定义：本论文旨在解决无人机在感知与导航中的多模态融合问题。现有方法往往依赖于离线计算，无法在资源受限的环境中实现高效的闭环控制。

核心思路：OpenFlyV2提出了一种统一的视觉-语言-动作架构，通过共享的视觉-语言表示来实现语义理解和空间推理，从而提升无人机的自主导航能力。

技术框架：该模型包括多个模块：共享的视觉-语言表示模块、动作专家模块、运动感知的时间记忆模块和动作先验模块。这些模块协同工作，实现了从感知到动作的闭环控制。

关键创新：OpenFlyV2的主要创新在于其统一的架构设计，能够在单一模型中实现视觉理解、语言引导和动作生成，克服了传统方法的局限性。

关键设计：模型在设计时采用了紧凑的动作专家，将多模态上下文转换为短期飞行航点，并通过运动感知的时间记忆和动作先验来降低闭环执行的计算成本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OpenFlyV2在四个真实环境中实现了48%的导航成功率，展示了其在没有真实世界训练数据的情况下，能够有效地从模拟环境迁移到实际应用。该模型在10 Hz的频率下完全在机载环境中生成动作块，显示出其高效的实时处理能力。

🎯 应用场景

OpenFlyV2的研究成果在无人机自主导航、环境监测、搜索与救援等领域具有广泛的应用潜力。其高效的机载处理能力和多模态理解能力将推动无人机技术的进一步发展，提升其在复杂环境中的操作能力。

📄 摘要（原文）

Human cognition flexibly draws on a shared perceptual foundation to understand environments, attend to referenced entities, reason about spatial relationships, and act. Endowing aerial robots with an analogous functional organization remains challenging, as existing systems are often specialized for individual capabilities, dependent on offboard computation, or unable to sustain closed-loop operation on resource-constrained platforms. We present OpenFlyV2, a unified onboard vision-language-action architecture that uses a shared vision-language representation to support semantic understanding, language-grounded perception, spatial reasoning, and continuous aerial control within a single model. A compact action expert converts the shared multimodal context into short-horizon flight waypoints, while motion-aware temporal memory and action priors reduce the computational cost of closed-loop execution. We construct \dataset{}, a simulation-based dataset comprising approximately 70,000 navigation trajectories and 60,000 vision-language instruction--response pairs. OpenFlyV2 generates action chunks, each comprising 12 waypoints, entirely onboard at 10 Hz using an NVIDIA Jetson Orin NX. It transfers zero-shot from simulation to physical quadrotor flight, achieving a 48\% navigation success rate across four real-world environments without real-world aerial training data. Extensive results demonstrate that broad vision-language competence and continuous closed-loop flight can coexist within a single model on a resource-constrained aerial platform. Code will be made publicly available at https://github.com/Ideal-ljl/AeroBrain.