Dreams Are Cheaper Than Flights: Curated World-Model Data Improves Aerial Detection

📄 arXiv: 2610.41030v1 📥 PDF

作者: Rugved Katole, Vedant Patil, Jenna Kline, Christopher Stewart

分类: cs.CV, cs.AI

发布日期: 2026-10-29

备注: 6 pages, Corl 2026

💡 一句话要点

利用合成数据提升无人机野生动物检测性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 合成数据 无人机检测 视频世界模型 机器人感知 数据驱动

📋 核心要点

  1. 现有的机器人感知方法依赖于昂贵且耗时的实地数据收集，限制了其应用范围。
  2. 本文提出通过视频世界模型生成合成数据，以减少对实地数据的依赖，从而降低数据收集成本。
  3. 实验结果表明，使用合成数据训练的检测器在多个基准测试中显著提升了性能，尤其是在城市环境中。

📝 摘要（中文）

随着机器人感知日益依赖数据，实地数据的收集既缓慢又昂贵，且可能造成干扰。视频世界模型提供了一种更便宜的数据来源：通过真实帧进行初始化，扩展记录场景以生成新视频。本文探讨合成数据是否能与真实数据匹敌，并评估基于合成数据训练的检测器在实际场景中的表现。通过用野生动物无人机视频初始化一个7B参数的世界模型，训练集的规模增加了一倍以上。实验结果显示，添加合成帧后，mAP@50-95提升了4.3%，替换真实数据时提升了10.3%，在城市基准测试中提升幅度达到33.5%。尽管专家拒绝了87.5%的生成片段，但合成数据的计算成本仅为约1100美元，相较于3200美元的实地劳动成本，显示出合成数据在数据成本上的优势。

🔬 方法详解

问题定义：本文旨在解决机器人感知中对昂贵且耗时的实地数据依赖的问题。现有方法在数据收集上存在高成本和低效率的痛点。

核心思路：通过使用视频世界模型生成合成数据，本文提出了一种新的训练方法，旨在用合成数据替代或补充实地数据，从而降低数据收集的整体成本。

技术框架：整体架构包括初始化一个7B参数的世界模型，使用真实的无人机视频作为种子数据，生成新的合成帧，并将这些帧与真实数据结合进行训练。

关键创新：最重要的创新在于通过合成数据显著提升检测器的性能，同时将数据收集的成本从实地工作转移到计算资源上，这在现有方法中是未曾实现的。

关键设计：在模型训练中，采用了特定的参数设置和损失函数，以确保合成数据的质量和有效性，尽管专家评估认为87.5%的生成片段不合格，但整体生成成本仍然显著低于实地数据收集。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，添加合成帧后，mAP@50-95提升了4.3%，而当合成帧替换真实数据时，提升幅度达到10.3%。在城市基准测试中，性能提升更是高达33.5%。这些结果表明合成数据在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用领域包括无人机监测、野生动物保护和城市环境监测等。通过降低数据收集成本，研究成果能够促进更多领域的自动化检测和监控，提升数据驱动决策的效率和准确性，未来可能对生态保护和城市管理产生深远影响。

📄 摘要（原文）

Robot perception is increasingly data driven, yet field data is slow, costly, and sometimes disruptive to collect. Video world models offer a cheaper source: seeded with real frames, they extend a recorded scene into new footage with the deployment's sensor, altitude, and environment. We ask whether such synthetic data matches the utility of real field data and whether detectors trained with it perform in the field. Seeding a 7B-parameter world model with wildlife drone video, we more than double the training set with curated frames. On held-out videos from the same drones, mAP@50--95 rises 4.3\% when these frames are added to real data and 10.3\% when they replace it, and up to 33.5\% on an urban benchmark. Although an expert rejects an estimated 87.5\% of generated clips, the data costs about \$1,100 of GPU time, against more than \$3,200 of field labor alone for a less useful real training set. Synthetic data thus shifts data costs from fieldwork to compute.