DreamFly: Causal Memory and Receding-Horizon Diffusion Planning for Aerial Vision-Language Navigation

📄 arXiv: 2608.12308v1 📥 PDF

作者: Yan Deng, Fei Xu

分类: cs.CV, cs.AI

发布日期: 2026-08-12

备注: 24 pages, 6 figures, 3 tables

💡 一句话要点

提出DreamFly以解决空中视觉语言导航中的历史上下文不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空中导航 视觉语言导航 因果记忆 扩散规划 多模态融合 路径规划 智能体决策

📋 核心要点

  1. 现有的视觉语言导航方法在空中导航中面临历史上下文不足和短期规划视野的挑战。
  2. 本文提出DreamFly框架，通过因果对齐的历史记忆和递归视野扩散规划来增强导航能力。
  3. 实验结果显示，DreamFly在已见和未见环境中均有显著提升，导航错误率最低。

📝 摘要（中文）

空中视觉语言导航（VLN）要求具身智能体在部分可观测的环境中整合视觉证据、规划未来动作并判断何时到达导航目标。尽管近期的视觉语言模型在感知到行动的范式中表现出色，但由于历史上下文有限、规划视野短以及隐式终止不可靠，使得其在空中导航中的适应性面临挑战。为了解决这些问题，本文提出了基于扩散的DreamFly框架，利用因果对齐的历史记忆增强当前视觉表示，支持时间推理而不泄露未来信息。同时，采用递归视野扩散规划，将策略设定为预测K步动作块但仅执行第一步，保持闭环视觉反馈。实验结果表明，DreamFly在OpenFly基准测试中表现优异，超越了所有对比方法。

🔬 方法详解

问题定义：本文旨在解决空中视觉语言导航中的历史上下文不足、短期规划视野和隐式终止不可靠的问题。现有方法在这些方面的不足限制了其在复杂环境中的表现。

核心思路：DreamFly框架通过引入因果对齐的历史记忆来增强当前的视觉表示，支持时间推理而不泄露未来信息。同时，采用递归视野扩散规划策略，允许智能体在每次决策时仅执行第一步动作，随后进行重新规划。

技术框架：DreamFly的整体架构包括因果记忆模块、扩散规划模块和LiteStop模块。因果记忆模块负责整合历史视觉信息，扩散规划模块进行K步动作预测，而LiteStop模块则直接从初始状态的动作logits中估计停止概率。

关键创新：本文的主要创新在于因果对齐的历史记忆和递归视野扩散规划策略的结合，这一设计有效避免了未来信息泄露，并提升了导航的准确性和可靠性。

关键设计：在技术细节上，LiteStop模块通过解耦显式终止与动作生成，优化了停止概率的估计。此外，模型的损失函数设计考虑了历史上下文和未来动作结构的联合建模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OpenFly基准测试中，DreamFly在已见和未见环境中分别达到了32.04%和29.46%的成功率（SR），以及28.22%和23.54%的路径长度比率（SPL），显著超越了所有对比方法，并且导航错误率最低，展示了其卓越的性能。

🎯 应用场景

该研究的潜在应用场景包括无人机导航、搜索与救援、以及自动驾驶等领域。通过提升空中导航的智能化水平，DreamFly能够在复杂环境中实现更高效的路径规划和决策支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Aerial vision-language navigation (VLN) requires an embodied agent to integrate visual evidence over time, plan future actions, and determine when it has reached a navigation goal under partial observability. Although recent VLA models offer a promising perception-to-action paradigm, adapting them to aerial navigation remains challenging due to limited historical context, short planning horizons, and unreliable implicit termination. To address these challenges, we propose DreamFly, a diffusion-based aerial VLN framework built on Dream-VLA. DreamFly introduces a causally aligned historical memory that augments the current visual representation using only observations preceding the current decision step, enabling temporal reasoning without future information leakage. We further formulate navigation as receding-horizon diffusion planning, where the policy predicts a $K$-step action chunk but executes only the first action before replanning. This plan-$K$, execute-one strategy uses future actions as auxiliary planning targets while preserving closed-loop visual feedback. Finally, LiteStop estimates the stop probability directly from action logits at the initial all-mask state, decoupling explicit termination from action generation. Experiments on the OpenFly benchmark demonstrate consistent improvements in seen and unseen environments. DreamFly achieves 32.04%/29.46% SR and 28.22%/23.54% SPL on the test-seen/test-unseen splits, respectively, outperforming all compared methods on both metrics while attaining the lowest navigation error. These results demonstrate the effectiveness of jointly modeling historical context, future action structure, and explicit termination for aerial VLN.