3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands
作者: Xuan Huang, Hanhui Li, Zejun Yang, Zhisheng Wang, Xiaodan Liang
分类: cs.CV
发布日期: 2024-01-02
备注: Accepted by AAAI-24
🔗 代码/项目: GITHUB
💡 一句话要点
提出可泛化的可见性感知神经辐射场以解决交互手部问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 可见性感知 交互手部 对抗学习 特征融合 三维重建 计算机视觉
📋 核心要点
- 现有的神经辐射场方法需要多视角输入和逐场景训练，限制了其在实际应用中的灵活性。
- 本文提出的VA-NeRF框架通过提取手部的几何和纹理特征，并利用可见性信息进行特征融合，解决了交互手部的遮挡问题。
- 在Interhand2.6M数据集上的实验结果显示，VA-NeRF在视觉质量上显著优于传统的NeRF方法。
📝 摘要（中文）
神经辐射场（NeRF）是用于场景、物体和人类的有前景的3D表示方法。然而，现有方法通常需要多视角输入和逐场景训练，限制了其在实际应用中的可行性。此外，当前方法主要集中于单一主体的情况，未能有效处理交互手部场景中的严重遮挡和视角变化。为了解决这些问题，本文提出了一种可泛化的可见性感知NeRF（VA-NeRF）框架，能够处理交互手部的图像输入，提取几何和纹理特征，并通过特征融合模块适应性地合并手部特征。实验结果表明，VA-NeRF在Interhand2.6M数据集上显著优于传统NeRF。
🔬 方法详解
问题定义：本文旨在解决交互手部场景中的严重遮挡和视角变化问题。现有的NeRF方法通常依赖于多视角输入和逐场景训练，无法有效处理这些复杂情况。
核心思路：VA-NeRF框架通过输入交互手部的图像，首先获取手部的网格表示，并提取几何和纹理特征。然后，利用可见性信息进行特征融合，以适应未见区域的特征恢复。
技术框架：VA-NeRF的整体架构包括特征提取模块、特征融合模块和对抗学习优化模块。特征提取模块负责从输入图像中获取手部的几何和纹理特征，特征融合模块则基于可见性信息合并特征，最后通过对抗学习优化生成图像。
关键创新：本文的主要创新在于引入了一种新的对抗学习判别器，该判别器生成像素级可见性图，为未见区域提供细粒度的监督，从而提升生成图像的视觉质量。
关键设计：在网络结构设计上，特征融合模块的可见性信息利用了查询点和网格顶点之间的关系，优化了特征合并过程。损失函数的设计也考虑了生成图像的细节和真实感。
🖼️ 关键图片
📊 实验亮点
在Interhand2.6M数据集上的实验结果表明，VA-NeRF在视觉质量上显著优于传统NeRF，具体性能提升幅度达到XX%（具体数据未知），验证了其在处理交互手部场景中的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和人机交互等场景，能够为交互式应用提供更高质量的3D手部表示，提升用户体验。未来，该技术可能在游戏开发、医疗模拟和教育培训等多个领域产生重要影响。
📄 摘要（原文）
Neural radiance fields (NeRFs) are promising 3D representations for scenes, objects, and humans. However, most existing methods require multi-view inputs and per-scene training, which limits their real-life applications. Moreover, current methods focus on single-subject cases, leaving scenes of interacting hands that involve severe inter-hand occlusions and challenging view variations remain unsolved. To tackle these issues, this paper proposes a generalizable visibility-aware NeRF (VA-NeRF) framework for interacting hands. Specifically, given an image of interacting hands as input, our VA-NeRF first obtains a mesh-based representation of hands and extracts their corresponding geometric and textural features. Subsequently, a feature fusion module that exploits the visibility of query points and mesh vertices is introduced to adaptively merge features of both hands, enabling the recovery of features in unseen areas. Additionally, our VA-NeRF is optimized together with a novel discriminator within an adversarial learning paradigm. In contrast to conventional discriminators that predict a single real/fake label for the synthesized image, the proposed discriminator generates a pixel-wise visibility map, providing fine-grained supervision for unseen areas and encouraging the VA-NeRF to improve the visual quality of synthesized images. Experiments on the Interhand2.6M dataset demonstrate that our proposed VA-NeRF outperforms conventional NeRFs significantly. Project Page: \url{https://github.com/XuanHuang0/VANeRF}.