FalconTrack: Photorealistic Auto-Labeled Perception and Physics-Aware Vision-Based Aerial Tracking

📄 arXiv: 2606.29783v1 📥 PDF

作者: Yan Miao, Karteek Gandiboyina, Noah Giles, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Sayan Mitra

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-06-29

💡 一句话要点

提出FalconTrack以解决GPS缺失环境中的视觉跟踪问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉跟踪 自动标注 高斯喷溅 多头感知 物理感知 无人机导航 机器人视觉

📋 核心要点

  1. 现有的视觉跟踪方法在GPS缺失环境中面临数据标注不足和效率低下的问题。
  2. FalconTrack通过光写实模拟器实现自动标注，并结合多头感知与物理感知跟踪，提升了跟踪精度与效率。
  3. 实验结果表明，FalconTrack在多种环境中实现了96-100%的类别准确率，且在实际硬件中成功率达到100%。

📝 摘要（中文）

视觉基础的空中跟踪在GPS缺失的环境中至关重要。可靠的跟踪感知依赖于大规模标注数据，而现有的光写实数据集通常需要大量人工标注，耗时且繁琐。本文提出FalconTrack，一个统一的感知与跟踪框架，利用光写实可编辑模拟器实现自动标注生成，并结合多头感知与物理感知跟踪，实现零-shot的模拟到现实转移。FalconTrack在高斯喷溅模拟器中提供自动标注管道，从短视频中隔离目标高斯并与随机背景合成，生成RGB、掩模、类别和6自由度位姿标签，20分钟内生成约1万张标注图像。使用该数据集，我们训练了一个多头感知模块，并在扩展卡尔曼滤波器中融合其输出与类别条件动态先验进行跟踪。我们的感知模型在零-shot转移中在三种几何多样的物体和两个环境中达到96-100%的类别准确率。

🔬 方法详解

问题定义：本文旨在解决在GPS缺失环境中进行视觉跟踪时，现有方法依赖于大量人工标注数据的问题，这导致了数据获取的低效率和高成本。

核心思路：FalconTrack的核心思路是利用光写实可编辑模拟器自动生成标注数据，并结合多头感知与物理感知跟踪技术，实现从模拟到现实的零-shot转移。这样的设计使得系统能够在不同环境中保持高效的跟踪能力。

技术框架：FalconTrack的整体架构包括自动标注管道、训练多头感知模块和扩展卡尔曼滤波器（EKF）融合模块。自动标注管道从短视频中提取目标高斯，并与随机背景合成，生成标注数据。

关键创新：FalconTrack的主要创新在于其自动标注生成机制和结合物理感知的多头感知模块，这与传统方法依赖人工标注和单一感知模型的方式有本质区别。

关键设计：在关键设计方面，FalconTrack使用高斯喷溅模拟器生成标注，采用分阶段学习和重投影一致性训练多头感知模块，并在EKF中融合类别条件动态先验，以提升跟踪性能。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FalconTrack在零-shot模拟到现实转移中达到了96-100%的类别准确率，且在实际硬件的闭环视觉跟踪中成功率达到100%。相比之下，传统的基线方法在快速出视场场景中成功率仅为60%。

🎯 应用场景

FalconTrack的研究成果在无人机导航、机器人视觉和自动驾驶等领域具有广泛的应用潜力。通过提供高效的视觉跟踪解决方案，该技术能够在复杂环境中实现更高的自主性和可靠性，推动相关领域的发展。

📄 摘要（原文）

Vision-based aerial tracking is critical in GPS-denied environments. Reliable perception for tracking depends on large-scale labeled data, yet most photorealistic datasets rely on heavy manual annotation and are time-consuming to produce. We present FalconTrack, a unified perception-and-tracking framework that (i) leverages a photorealistic editable simulator for automated label generation and (ii) combines multi-head perception with physics-aware tracking for zero-shot sim-to-real transfer. FalconTrack provides an automated labeling pipeline in a Gaussian Splatting simulator that isolates target Gaussians from short object videos and composites them with randomized backgrounds to generate RGB, mask, class, and 6-DoF pose labels, producing about 10k labeled images in under 20 minutes. Using this dataset, we train a multi-head perception module with staged learning and reprojection consistency, and fuse its outputs with class-conditioned dynamics priors in an EKF for tracking. Our perception model outperforms two baselines and reaches 96-100% class accuracy in zero-shot sim-to-real transfer on three geometrically diverse objects and two environments, while maintaining consistent performance in unseen simulated and real scenes. In real hardware closed-loop visual tracking, the onboard system runs at about 25 Hz and achieves 100% success in sim-to-real F1-tenth and gate tracking in five trajectories across two environments, while a mask-centered vision baseline drops to 60% success on F1-tenth during fast out-of-view scenarios.