Tiny-DroNeRF: Tiny Neural Radiance Fields aboard Federated Learning-enabled Nano-drones

📄 arXiv: 2603.01850v1 📥 PDF

作者: Ilenia Carboni, Elia Cereda, Lorenzo Lamberti, Daniele Malpetti, Francesco Conti, Daniele Palossi

分类: cs.RO, cs.CV, eess.SY

发布日期: 2026-03-02

备注: This paper has been accepted for publication in the IEEE ICRA 2026 conference. ©2026 IEEE

💡 一句话要点

Tiny-DroNeRF：在算力受限的纳米无人机上实现联邦学习NeRF，用于复杂环境三维重建。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 NeRF 联邦学习 纳米无人机 三维重建 低功耗 嵌入式系统

📋 核心要点

  1. 现有NeRF模型计算量大，内存需求高，难以在资源受限的纳米无人机上部署，限制了其在复杂环境中的应用。
  2. Tiny-DroNeRF通过模型轻量化和联邦学习，降低了计算和存储需求，实现了在纳米无人机上的NeRF训练和部署。
  3. 实验表明，Tiny-DroNeRF在显著降低内存占用的同时，保持了较高的重建精度，并通过联邦学习进一步提升了性能。

📝 摘要（中文）

本文提出Tiny-DroNeRF，一种轻量级的神经辐射场（NeRF）模型，基于Instant-NGP，并针对在纳米无人机上的超低功耗（ULP）MCU（GAP9）运行进行了优化。该方法旨在使纳米无人机能够在资源极度受限的情况下执行复杂的视觉任务，如稠密三维场景重建。此外，本文还提出了一种协作联邦学习方案，将模型训练分布在多个纳米无人机上，进一步增强了Tiny-DroNeRF的性能。实验结果表明，与Instant-NGP相比，Tiny-DroNeRF的内存占用减少了96%，而重建精度仅下降了5.7 dB。联邦学习方案使得Tiny-DroNeRF能够使用单个无人机内存无法容纳的大量数据进行训练，从而提高了整体重建精度。该工作首次将ULP MCU上的NeRF训练与纳米无人机上的联邦学习相结合。

🔬 方法详解

问题定义：论文旨在解决资源受限的纳米无人机上进行高质量三维场景重建的问题。现有NeRF方法需要大量的计算资源和存储空间，无法直接部署在算力极低的纳米无人机上。这限制了纳米无人机在工业检测、搜索救援等复杂环境中的自主探索能力。

核心思路：论文的核心思路是设计一个轻量级的NeRF模型（Tiny-DroNeRF），使其能够在超低功耗的MCU上运行。同时，利用联邦学习将模型训练分布到多个无人机上，从而解决单个无人机内存不足的问题。这样既降低了单个无人机的计算和存储压力，又能够利用更多的数据进行训练，提高重建精度。

技术框架：Tiny-DroNeRF的整体框架包括以下几个主要部分：1) 轻量级NeRF模型设计：基于Instant-NGP进行优化，减少模型参数量和计算复杂度。2) 单个无人机上的NeRF推理：在GAP9 MCU上运行优化后的NeRF模型，进行三维场景重建。3) 联邦学习训练：多个无人机协作训练NeRF模型，每个无人机使用本地数据进行部分训练，然后将模型参数聚合到中心服务器，更新全局模型。4) 模型部署：将训练好的模型部署到各个无人机上，用于实时三维重建。

关键创新：该论文最重要的技术创新点在于首次将NeRF训练与联邦学习相结合，并在超低功耗的MCU上实现了NeRF的运行。这使得在资源极度受限的纳米无人机上进行高质量的三维场景重建成为可能。与现有方法相比，Tiny-DroNeRF在模型大小、计算复杂度和功耗方面都具有显著优势。

关键设计：Tiny-DroNeRF的关键设计包括：1) 模型轻量化：通过减少网络层数、降低特征维度等方式，显著减少模型参数量。2) 计算优化：针对GAP9 MCU的特性，对NeRF模型的计算过程进行优化，提高计算效率。3) 联邦学习策略：设计合适的联邦学习算法，保证模型训练的收敛性和鲁棒性。4) 损失函数：采用合适的损失函数，例如L1损失或L2损失，来优化重建质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Tiny-DroNeRF相比Instant-NGP，内存占用减少了96%，而重建精度仅下降了5.7 dB。此外，通过联邦学习，Tiny-DroNeRF能够利用更多的数据进行训练，进一步提高了重建精度。这些结果验证了Tiny-DroNeRF在资源受限的纳米无人机上进行三维场景重建的可行性和有效性。

🎯 应用场景

该研究成果可应用于多种场景，例如：工业检测（在狭小空间内进行设备巡检）、搜索救援（在灾难现场进行快速三维建模）、环境监测（在复杂地形中进行数据采集）。通过在纳米无人机上实现自主三维重建，可以提高这些任务的效率和安全性，并为未来的机器人应用提供新的可能性。

📄 摘要（原文）

Sub-30g nano-sized aerial robots can leverage their agility and form factor to autonomously explore cluttered and narrow environments, like in industrial inspection and search and rescue missions. However, the price for their tiny size is a strong limit in their resources, i.e., sub-100 mW microcontroller units (MCUs) delivering $\sim$100 GOps/s at best, and memory budgets well below 100 MB. Despite these strict constraints, we aim to enable complex vision-based tasks aboard nano-drones, such as dense 3D scene reconstruction: a key robotic task underlying fundamental capabilities like spatial awareness and motion planning. Top-performing 3D reconstruction methods leverage neural radiance fields (NeRF) models, which require GBs of memory and massive computation, usually delivered by high-end GPUs consuming 100s of Watts. Our work introduces Tiny-DroNeRF, a lightweight NeRF model, based on Instant-NGP, and optimized for running on a GAP9 ultra-low-power (ULP) MCU aboard our nano-drones. Then, we further empower our Tiny-DroNeRF by leveraging a collaborative federated learning scheme, which distributes the model training among multiple nano-drones. Our experimental results show a 96% reduction in Tiny-DroNeRF's memory footprint compared to Instant-NGP, with only a 5.7 dB drop in reconstruction accuracy. Finally, our federated learning scheme allows Tiny-DroNeRF to train with an amount of data otherwise impossible to keep in a single drone's memory, increasing the overall reconstruction accuracy. Ultimately, our work combines, for the first time, NeRF training on an ULP MCU with federated learning on nano-drones.