From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation

📄 arXiv: 2606.12603 📥 PDF

作者: Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

分类: cs.RO, cs.AI

发布日期: 2026-06-12

💡 一句话要点

提出FlowPilot以解决长距离人行道导航中的社会合规性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长距离导航 人类偏好学习 模仿学习 社会合规性 反事实推理 机器人技术

📋 核心要点

  1. 现有的模仿学习方法在长距离人行道导航中存在累积误差和社会合规性不足的问题。
  2. 本文提出FlowPilot，通过锚定流匹配和人类偏好学习，提升了导航策略的反事实推理和社会合规性。
  3. 在模拟实验中，FlowPilot实现了42%的成功率和66%的路径完成率，且在真实环境中表现更为稳健。

📝 摘要（中文）

自主长距离人行道导航对于微型移动应用（如机器人送餐和辅助电动轮椅）至关重要。与道路上的自主驾驶不同，人行道导航需要在不可预测的环境中进行精确操控，并且仅依赖单个单目RGB摄像头进行感知。现有的模仿学习方法在此过程中面临累积误差、缺乏社会合规性和应对复杂情况的反事实推理不足等挑战。为了解决这些问题，本文提出了FlowPilot，这是一种无地图导航策略，能够在仅使用单目RGB摄像头的情况下实现稳健高效的长距离导航性能。通过锚定流匹配作为动作表示，结合人类偏好学习方案，FlowPilot显著提升了模型的反事实推理能力和社会合规性。

🔬 方法详解

问题定义：本文旨在解决长距离人行道导航中的社会合规性和反事实推理不足的问题。现有的模仿学习方法容易导致累积误差，无法有效应对复杂的行人和环境变化。

核心思路：论文提出FlowPilot，通过锚定流匹配作为动作表示进行预训练，并结合人类偏好学习来优化策略。这样的设计旨在增强模型的适应性和社会合规性。

技术框架：FlowPilot的整体架构包括两个主要模块：首先是基于大规模机器人数据的预训练阶段，使用锚定流匹配捕捉多样化的导航行为；其次是通过人类干预数据进行微调，提升模型的反事实推理能力。

关键创新：最重要的技术创新在于引入了人类偏好学习机制，使得模型能够在有限的人类反馈下进行有效调整，从而提高了社会合规性和应对复杂情况的能力。

关键设计：在模型训练中，采用了特定的损失函数来平衡模仿学习与人类偏好学习的影响，同时在网络结构上优化了流匹配的表示能力，以更好地适应人行道导航的复杂性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlowPilot在模拟实验中实现了42%的成功率和66%的路径完成率，且在真实环境中，FlowPilot-HP进一步提高了稳健性和社会合规性，相较于基线模型，干预率（IR）降低了40.0%，非干预率（NIR）降低了52.1%。

🎯 应用场景

该研究的潜在应用领域包括机器人送餐、辅助电动轮椅等微型移动设备的自主导航。通过提升导航策略的社会合规性和反事实推理能力，FlowPilot能够在复杂的城市环境中更安全、有效地运行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autonomous long-horizon sidewalk navigation is essential for micro-mobility applications such as robotic food delivery and assistive electronic wheelchairs. Unlike autonomous driving on the road, long-horizon sidewalk navigation requires precise maneuvering through unpredictable sidewalk terrains and pedestrians, with a lightweight perception stack as minimal as a single monocular RGB camera. While imitation learning (IL) from demonstrations offers a practical solution, the resulting autopilot policy often suffers from compounding errors, a lack of social compliance on sidewalks, and deficiencies in counterfactual reasoning to handle complex situations. To address these challenges, we introduce FlowPilot, a mapless navigation policy that achieves robust and efficient long-horizon navigation performance using only a monocular RGB camera. We first propose to use anchored flow matching as an action representation for policy pre-training on large-scale robot fleet data and to capture the diverse, complex, multimodal distribution of sidewalk navigation behaviors. To bridge the gap between imitation and alignment, we further design a human-in-the-loop preference learning scheme to tune the policy on a small amount of human intervention data. It strengthens the model's counterfactual reasoning and social compliance on sidewalks. We evaluate FlowPilot through extensive simulation and real-world experiments in diverse sidewalk environments. FlowPilot achieves 42% success rate and 66% route completion in simulation, while FlowPilot-HP further improves real-world robustness and social compliance, reducing IR by 40.0% and NIR by 52.1% relative to the base model.