CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

📄 arXiv: 2607.02222v1 📥 PDF

作者: Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

分类: cs.RO, cs.AI

发布日期: 2026-07-02

备注: 27 pages, 13 figures

💡 一句话要点

提出CoFL-S以解决低级动作表示不足的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言导航 低级动作表示 流场预测 机器人导航 智能系统

📋 核心要点

  1. 现有的视觉-语言导航方法在低级动作表示方面存在不足，未能有效处理指令分解与动作执行之间的关系。
  2. CoFL-S框架通过预测语言条件的流场来生成连续轨迹，采用帧级局部监督来训练低层表示，提升了导航的精度与灵活性。
  3. 在连续时间Habitat基准上，CoFL-S在不同规划频率下均优于基线方法，且在真实世界的闭环部署中表现出色。

📝 摘要（中文）

视觉-语言导航（VLN）越来越强调高层指令推理、记忆、全局地图构建和指令分解，而低层动作表示相对未被充分探索。我们提出了CoFL-S，一个低层视觉-语言-动作框架，能够在机器人可见的局部区域上预测语言条件的流场，并通过展开预测的流场生成连续轨迹。为训练这一低层表示，我们将每个VLN-CE剧集转换为帧级局部监督，配合对齐的子指令和匹配的动作、轨迹及密集流场目标。我们还引入了一个连续时间的Habitat基准，隔离低层动作接口与指令分解，通过共享的速度命令控制器执行所有方法，从而实现不同规划频率的闭环比较。在匹配的编码器和训练设置下，CoFL-S在连续时间Habitat基准上始终优于动作标记和动作块基线，零样本的真实世界闭环部署进一步显示其在模拟之外的优势。

🔬 方法详解

问题定义：本论文旨在解决视觉-语言导航中低级动作表示不足的问题。现有方法往往侧重于高层指令推理，而忽视了如何有效地将指令转化为具体的动作执行，导致在实际应用中表现不佳。

核心思路：论文提出的CoFL-S框架通过在局部可见区域内预测语言条件的流场，生成连续的动作轨迹。这种设计使得机器人能够更灵活地响应环境变化，提升导航的精度。

技术框架：CoFL-S的整体架构包括三个主要模块：局部可见区域的流场预测、基于流场的轨迹生成和帧级局部监督训练。通过这些模块的协同工作，系统能够有效地将指令转化为连续的动作执行。

关键创新：CoFL-S的主要创新在于引入了流场预测机制，使得机器人能够在局部环境中进行更为细致的动作规划。这一方法与传统的基于离散动作的策略有本质区别，能够实现更高效的导航。

关键设计：在训练过程中，论文采用了对齐的子指令和匹配的动作、轨迹及密集流场目标作为损失函数，确保模型能够学习到有效的低层表示。此外，使用共享的速度命令控制器来实现不同规划频率的闭环比较，增强了实验的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在连续时间Habitat基准上，CoFL-S在不同规划频率下的表现均优于动作标记和动作块基线，显示出显著的性能提升。具体来说，CoFL-S在零样本的真实世界闭环部署中展现出更优的导航能力，相较于基线方法有明显的优势。

🎯 应用场景

该研究的潜在应用领域包括自主机器人导航、智能家居系统和增强现实等。通过提升机器人在复杂环境中的导航能力，CoFL-S能够为实际应用提供更高的灵活性和准确性，推动智能机器人技术的发展。未来，该方法可能在多种实际场景中得到广泛应用，提升人机交互的效率和体验。

📄 摘要（原文）

Vision-Language Navigation has increasingly emphasized high-level instruction reasoning, memory, global map construction, and instruction decomposition, while the low-level action representation remains comparatively underexplored. We propose CoFL-S, a low-level vision-language-action framework that predicts a language-conditioned flow field over the robot's local visible sector and generates continuous trajectories by rolling out the predicted field. To train this low-level representation, we convert each VLN-CE episode, originally a whole-episode instruction paired with an action sequence, into frame-level local supervision with aligned sub-instructions and matched action, trajectory, and dense flow-field targets. For evaluation, we introduce a continuous-time Habitat benchmark that isolates low-level action interfaces from instruction decomposition and executes all methods through a shared velocity-command controller, enabling decomposition-independent closed-loop comparison across different planner frequencies rather than fixed discrete forward-and-turn transitions in VLN-CE. Under matched encoders and training settings, CoFL-S consistently outperforms action-token and action-chunk baselines across planner frequencies in the continuous-time Habitat benchmark, and zero-shot real-world closed-loop deployment further shows its advantage over both baselines beyond simulation.