DecentNeRFs: Decentralized Neural Radiance Fields from Crowdsourced Images
作者: Zaid Tasneem, Akshat Dave, Abhishek Singh, Kushagra Tiwary, Praneeth Vepakomma, Ashok Veeraraghavan, Ramesh Raskar
分类: cs.CV, cs.DC
发布日期: 2024-03-19 (更新: 2024-03-28)
💡 一句话要点
提出DecentNeRF以解决集中式NeRF计算成本高的问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 去中心化 众包 3D表示 隐私保护 计算效率 图像处理
📋 核心要点
- 现有集中式NeRF方法在处理大量图像时计算成本极高，且难以保护用户隐私。
- DecentNeRF通过去中心化的方式，要求用户发送3D表示，显著降低了服务器的计算负担。
- 实验结果表明，DecentNeRF在保持高质量图像表现的同时，计算成本减少了约10,000倍。
📝 摘要（中文）
神经辐射场（NeRF）展示了将全球捕获的图像转化为沉浸式3D视觉体验的潜力。然而，大部分视觉数据因个人隐私而被孤立，集中式学习数十亿场景的3D表示在计算上不可行。本文提出的DecentNeRF是首个去中心化的众包NeRF，所需服务器计算量比集中式方法减少约10,000倍。该方法要求用户发送3D表示而非原始数据，从而将高计算成本分散到用户之间。通过将用户的3D视图分解为个人和全局NeRF，并对后者进行新颖的加权聚合，DecentNeRF能够学习出逼真的场景表示。我们在结构化合成数据集和真实世界的旅游照片数据集上验证了该方法的有效性，并分析了其如何通过安全聚合全局NeRF来最小化服务器对个人内容的重建。
🔬 方法详解
问题定义：本文旨在解决集中式NeRF方法在处理大量图像时的高计算成本和用户隐私保护问题。现有方法需要集中处理所有数据，导致计算不可行且隐私风险高。
核心思路：DecentNeRF通过去中心化的方式，允许用户上传3D表示而非原始图像，从而将计算负担分散到用户端，降低服务器的计算需求。
技术框架：整体架构包括用户端的3D视图处理模块和服务器端的全局NeRF聚合模块。用户将其3D视图分解为个人和全局NeRF，服务器仅聚合全局NeRF。
关键创新：DecentNeRF的核心创新在于其去中心化的设计，允许用户在本地进行计算，显著减少了对集中式服务器的依赖，且通过安全聚合保护用户隐私。
关键设计：在技术细节上，DecentNeRF采用了新颖的加权聚合策略，确保全局NeRF的质量，同时设计了适应性损失函数以优化聚合效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DecentNeRF在结构化合成数据集和真实世界的旅游照片数据集上，成功实现了高质量的3D场景表示，同时服务器计算成本减少了约10,000倍，相较于传统集中式方法，展现了显著的性能提升。
🎯 应用场景
DecentNeRF在旅游、社交媒体和虚拟现实等领域具有广泛的应用潜力。通过去中心化的方式，用户可以在保护隐私的前提下，共享和体验高质量的3D场景，推动沉浸式视觉体验的发展。未来，该技术可能会在更大规模的图像数据处理和3D重建中发挥重要作用。
📄 摘要（原文）
Neural radiance fields (NeRFs) show potential for transforming images captured worldwide into immersive 3D visual experiences. However, most of this captured visual data remains siloed in our camera rolls as these images contain personal details. Even if made public, the problem of learning 3D representations of billions of scenes captured daily in a centralized manner is computationally intractable. Our approach, DecentNeRF, is the first attempt at decentralized, crowd-sourced NeRFs that require $\sim 10^4\times$ less server computing for a scene than a centralized approach. Instead of sending the raw data, our approach requires users to send a 3D representation, distributing the high computation cost of training centralized NeRFs between the users. It learns photorealistic scene representations by decomposing users' 3D views into personal and global NeRFs and a novel optimally weighted aggregation of only the latter. We validate the advantage of our approach to learn NeRFs with photorealism and minimal server computation cost on structured synthetic and real-world photo tourism datasets. We further analyze how secure aggregation of global NeRFs in DecentNeRF minimizes the undesired reconstruction of personal content by the server.