F3DGS: Federated 3D Gaussian Splatting for Decentralized Multi-Agent World Modeling

📄 arXiv: 2604.01605v1 📥 PDF

作者: Morui Zhu, Mohammad Dehghani Tezerjani, Mátyás Szántó, Márton Vaitkus, Song Fu, Qing Yang

分类: cs.CV, cs.RO

发布日期: 2026-04-02

备注: Accepted to the CVPR 2026 SPAR-3D Workshop

💡 一句话要点

提出F3DGS，用于去中心化多智能体世界建模的联邦3D高斯溅射

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 联邦学习 3D高斯溅射 多智能体系统 分布式重建 机器人 LiDAR SLAM

📋 核心要点

  1. 现有3D高斯溅射方法依赖集中式数据访问，限制了其在分布式机器人场景中的应用，阻碍了多智能体协同。
  2. F3DGS通过联邦学习框架，在固定高斯位置的同时，允许每个客户端更新外观属性，实现去中心化优化。
  3. 实验结果表明，F3DGS在多智能体重建任务中，实现了与集中式训练相当的重建质量，验证了其有效性。

📝 摘要（中文）

我们提出了F3DGS，一个用于去中心化多智能体3D重建的联邦3D高斯溅射框架。现有的3DGS流程假设可以集中访问所有观测数据，这限制了它们在分布式机器人环境中的适用性，在这些环境中，智能体独立运行，并且集中式数据聚合可能受到限制。直接将集中式训练扩展到多智能体系统会引入通信开销和几何不一致性。F3DGS首先通过注册来自多个客户端的局部合并的LiDAR点云来构建共享的几何支架，以初始化全局3DGS模型。在联邦优化期间，高斯位置被固定以保持几何对齐，而每个客户端仅更新外观相关的属性，包括协方差、不透明度和球谐系数。服务器使用可见性感知聚合来聚合这些更新，通过每个客户端观察到每个高斯的频率来加权每个客户端的贡献，从而解决多智能体探索固有的部分可观测性挑战。为了评估去中心化重建，我们收集了一个包含同步LiDAR、RGB和IMU测量的多序列室内数据集。实验表明，F3DGS实现了与集中式训练相当的重建质量，同时实现了跨智能体的分布式优化。数据集、开发工具包和源代码将公开发布。

🔬 方法详解

问题定义：现有的3D高斯溅射（3DGS）方法通常假设所有数据都可以在一个中心位置访问，这在多智能体机器人系统中是不切实际的。在这些系统中，每个智能体独立收集数据，并且由于带宽限制、隐私问题或计算资源限制，集中式数据聚合可能不可行。直接将集中式训练应用于多智能体系统会导致通信开销增加和几何不一致性问题。

核心思路：F3DGS的核心思路是利用联邦学习框架，在保证几何一致性的前提下，实现去中心化的3D场景重建。具体来说，该方法首先通过注册局部LiDAR点云来构建一个共享的几何骨架，然后每个智能体独立更新高斯溅射模型的外观属性，最后通过服务器进行聚合。这种方法避免了直接共享原始数据，降低了通信开销，并解决了几何不一致性问题。

技术框架：F3DGS的整体框架包含以下几个主要阶段：1) 几何初始化：使用来自多个客户端的局部合并的LiDAR点云注册到全局坐标系，初始化全局3DGS模型，构建共享的几何支架。2) 联邦优化：每个客户端独立更新其局部3DGS模型的外观属性（如协方差、不透明度和球谐系数），同时保持高斯位置固定，以确保几何一致性。3) 服务器聚合：服务器使用可见性感知聚合策略，根据每个客户端观察到每个高斯的频率来加权每个客户端的更新，然后将这些更新聚合到全局模型中。

关键创新：F3DGS的关键创新在于其联邦学习框架和可见性感知聚合策略。该框架允许在不共享原始数据的情况下进行分布式3D重建，降低了通信开销和隐私风险。可见性感知聚合策略解决了多智能体系统中固有的部分可观测性问题，提高了重建质量。

关键设计：F3DGS的关键设计包括：1) 高斯位置固定：在联邦优化期间，高斯位置被固定，以确保几何一致性。2) 可见性感知聚合：服务器使用可见性信息来加权每个客户端的更新，从而解决部分可观测性问题。3) 外观属性更新：每个客户端仅更新外观相关的属性，如协方差、不透明度和球谐系数，以减少通信开销。

🖼️ 关键图片

fig_0

📊 实验亮点

F3DGS在多序列室内数据集上进行了评估，实验结果表明，F3DGS实现了与集中式训练相当的重建质量，同时实现了跨智能体的分布式优化。具体来说，F3DGS在重建精度方面与集中式训练的差距在可接受范围内，同时显著降低了通信开销和计算复杂度。数据集、开发工具包和源代码将公开发布，方便研究人员进行复现和进一步研究。

🎯 应用场景

F3DGS在多智能体机器人协同探索、自动驾驶、增强现实等领域具有广泛的应用前景。例如，多个机器人可以协同构建一个大型室内环境的3D模型，用于导航、路径规划和目标识别。该方法还可以应用于自动驾驶车辆，实现高精度的环境感知和地图构建。此外，F3DGS还可以用于增强现实应用，为用户提供更逼真的虚拟体验。

📄 摘要（原文）

We present F3DGS, a federated 3D Gaussian Splatting framework for decentralized multi-agent 3D reconstruction. Existing 3DGS pipelines assume centralized access to all observations, which limits their applicability in distributed robotic settings where agents operate independently, and centralized data aggregation may be restricted. Directly extending centralized training to multi-agent systems introduces communication overhead and geometric inconsistency. F3DGS first constructs a shared geometric scaffold by registering locally merged LiDAR point clouds from multiple clients to initialize a global 3DGS model. During federated optimization, Gaussian positions are fixed to preserve geometric alignment, while each client updates only appearance-related attributes, including covariance, opacity, and spherical harmonic coefficients. The server aggregates these updates using visibility-aware aggregation, weighting each client's contribution by how frequently it observed each Gaussian, resolving the partial-observability challenge inherent to multi-agent exploration. To evaluate decentralized reconstruction, we collect a multi-sequence indoor dataset with synchronized LiDAR, RGB, and IMU measurements. Experiments show that F3DGS achieves reconstruction quality comparable to centralized training while enabling distributed optimization across agents. The dataset, development kit, and source code will be publicly released.