OpenFlyV2: An onboard vision-language-action model for aerial perception and navigation
作者: Junli Liu, Zhongrui You, Chenhui Li, Zhen Li, Yuyang Tian, Qizhen Chen, Delin Qu, Haoming Song, Dong Wang, Xuelong Li, Zhigang Wang, Bin Zhao
分类: cs.RO
发布日期: 2026-10-29
备注: 12page, 6figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出OpenFlyV2以解决无人机自主导航与感知问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-行动 无人机导航 空间推理 闭环控制 多模态学习
📋 核心要点
- 现有的无人机系统往往专注于单一功能，难以实现综合的感知与导航能力。
- OpenFlyV2通过统一的视觉-语言-行动架构，支持语义理解和空间推理，提升了无人机的自主能力。
- 在四个真实环境中，OpenFlyV2在没有真实训练数据的情况下，达到了48%的导航成功率，显示出其强大的迁移能力。
📝 摘要（中文）
人类的认知能力灵活地依赖于共享的感知基础来理解环境、关注参考实体、推理空间关系并采取行动。赋予空中机器人类似的功能组织仍然具有挑战性，因为现有系统通常专注于单一能力、依赖离线计算或无法在资源受限的平台上维持闭环操作。我们提出了OpenFlyV2，这是一种统一的机载视觉-语言-行动架构，利用共享的视觉-语言表示来支持语义理解、语言基础的感知、空间推理和连续的空中控制。通过构建一个包含约70,000条导航轨迹和60,000对视觉-语言指令-响应对的模拟数据集，我们的模型在不依赖真实世界空中训练数据的情况下，实现了在四个真实环境中48%的导航成功率。
🔬 方法详解
问题定义：本论文旨在解决现有无人机系统在感知和导航能力上的局限性，尤其是在资源受限的平台上，如何实现闭环操作和综合能力的挑战。
核心思路：OpenFlyV2提出了一种统一的机载视觉-语言-行动架构，利用共享的视觉-语言表示来实现语义理解和空间推理，从而支持无人机的自主导航和控制。
技术框架：该模型包括多个模块，首先是视觉-语言表示模块，接着是动作专家模块，将共享的多模态上下文转换为短期飞行航点，最后是运动感知的时间记忆和动作先验模块，以降低闭环执行的计算成本。
关键创新：OpenFlyV2的主要创新在于其统一的架构设计，能够在单一模型中实现视觉、语言和动作的整合，克服了现有系统的分散性和依赖性。
关键设计：模型在设计上采用了紧凑的动作专家，能够以10Hz的频率在NVIDIA Jetson Orin NX上生成每个包含12个航点的动作块，同时通过运动感知的时间记忆来优化计算效率。
🖼️ 关键图片
📊 实验亮点
OpenFlyV2在四个真实环境中实现了48%的导航成功率，展示了其在没有真实世界空中训练数据的情况下的强大迁移能力。该模型在10Hz的频率下完全在机载系统上生成动作块，显示出其高效的实时处理能力。
🎯 应用场景
OpenFlyV2的研究成果在无人机自主导航、环境感知和人机交互等领域具有广泛的应用潜力。其统一的视觉-语言-行动架构可以用于智能城市监控、灾害救援、农业监测等场景，提升无人机的自主决策能力和任务执行效率。未来，该技术有望推动无人机在复杂环境中的应用，促进智能交通和物流的发展。
📄 摘要（原文）
Human cognition flexibly draws on a shared perceptual foundation to understand environments, attend to referenced entities, reason about spatial relationships, and act. Endowing aerial robots with an analogous functional organization remains challenging, as existing systems are often specialized for individual capabilities, dependent on offboard computation, or unable to sustain closed-loop operation on resource-constrained platforms. We present OpenFlyV2, a unified onboard vision-language-action architecture that uses a shared vision-language representation to support semantic understanding, language-grounded perception, spatial reasoning, and continuous aerial control within a single model. A compact action expert converts the shared multimodal context into short-horizon flight waypoints, while motion-aware temporal memory and action priors reduce the computational cost of closed-loop execution. We construct \dataset{}, a simulation-based dataset comprising approximately 70,000 navigation trajectories and 60,000 vision-language instruction--response pairs. OpenFlyV2 generates action chunks, each comprising 12 waypoints, entirely onboard at 10 Hz using an NVIDIA Jetson Orin NX. It transfers zero-shot from simulation to physical quadrotor flight, achieving a 48\% navigation success rate across four real-world environments without real-world aerial training data. Extensive results demonstrate that broad vision-language competence and continuous closed-loop flight can coexist within a single model on a resource-constrained aerial platform. Code will be made publicly available at https://github.com/Ideal-ljl/AeroBrain.