Inferring Hybrid Neural Fluid Fields from Videos
作者: Hong-Xing Yu, Yang Zheng, Yuan Gao, Yitong Deng, Bo Zhu, Jiajun Wu
分类: cs.CV, cs.GR
发布日期: 2023-12-11
备注: NeurIPS 2023. Project website: https://kovenyu.com/HyFluid/ The first two authors contribute equally
💡 一句话要点
提出混合神经流体场HyFluid，从稀疏多视角视频中重建流体密度和速度场。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 神经流体 流体重建 神经场 物理约束 湍流建模 多视角视频 速度场估计
📋 核心要点
- 现有神经流体重建方法依赖光流，难以处理流体视觉模糊性和湍流，导致密度和速度估计不准确。
- HyFluid通过引入物理约束损失和混合神经速度表示，保证速度场的物理合理性，并有效建模湍流。
- 实验表明，HyFluid能够恢复涡流细节，为流体重新模拟、编辑和未来预测等应用提供可能。
📝 摘要（中文）
本文研究了如何从稀疏的多视角视频中恢复流体密度和速度。现有的神经动态重建方法主要依赖于光流，但由于流体通常没有形状且缺乏稳定的视觉特征，因此无法准确估计密度和揭示潜在的速度，这是流体速度固有的视觉模糊性导致的。流体流动本质上的湍流进一步加剧了这一挑战，需要适当设计的流体速度表示。为了应对这些挑战，我们提出了一种混合神经流体场（HyFluid），这是一种联合推断流体密度和速度场的神经方法。具体来说，为了处理流体速度的视觉模糊性，我们引入了一组基于物理的损失，以强制推断一个物理上合理的、无散度的速度场，并驱动密度的传输。为了处理流体速度的湍流性质，我们设计了一种混合神经速度表示，包括一个捕获大部分无旋能量的基础神经速度场和一个模拟残余湍流速度的基于涡旋粒子的速度。我们证明了我们的方法能够恢复涡流细节。我们的方法为各种围绕3D不可压缩流的学习和重建应用开辟了可能性，包括流体重新模拟和编辑、未来预测和神经动态场景组合。
🔬 方法详解
问题定义：论文旨在解决从稀疏多视角视频中准确重建流体密度和速度场的问题。现有方法主要依赖光流，但流体缺乏稳定视觉特征，导致速度估计存在固有模糊性，尤其是在湍流情况下，重建精度显著下降。现有方法难以同时保证重建结果的物理合理性和细节丰富性。
核心思路：论文的核心思路是结合物理先验知识和混合神经表示来克服视觉模糊性和湍流带来的挑战。通过引入无散度和密度传输等物理约束，保证速度场的物理合理性。同时，采用混合神经速度表示，将速度场分解为基础神经速度场（捕获大部分能量）和涡旋粒子速度场（建模残余湍流），从而更有效地捕捉流体运动的复杂性。
技术框架：HyFluid的整体框架包含以下几个主要模块：1) 多视角视频输入；2) 神经密度场表示，使用神经网络表示流体密度；3) 混合神经速度场表示，包括基础神经速度场和涡旋粒子速度场；4) 基于物理的损失函数，包括无散度损失和密度传输损失；5) 优化过程，通过最小化损失函数来优化神经密度场和速度场的参数。
关键创新：论文的关键创新在于混合神经速度场表示和基于物理的损失函数。混合神经速度场表示能够有效分离和建模流体速度场中的主要能量和残余湍流，从而提高重建精度。基于物理的损失函数能够约束速度场的物理合理性，克服视觉模糊性带来的挑战。
关键设计：关键设计包括：1) 基础神经速度场采用MLP网络进行表示；2) 涡旋粒子速度场通过一组涡旋粒子的位置和强度来参数化；3) 无散度损失通过惩罚速度场的散度来保证其无散性；4) 密度传输损失通过约束密度随时间的演化来保证速度场与密度场的一致性；5) 总体损失函数是各项损失的加权和，权重需要根据具体场景进行调整。
📊 实验亮点
论文通过实验验证了HyFluid在流体重建方面的有效性。与现有方法相比，HyFluid能够更准确地恢复流体密度和速度场，尤其是在湍流情况下，能够捕捉到更丰富的涡流细节。实验结果表明，HyFluid在重建精度和视觉效果方面均优于现有方法，能够生成更逼真的流体动画。
🎯 应用场景
该研究成果可应用于流体重新模拟和编辑、未来预测、神经动态场景组合等领域。例如，可以用于电影特效制作，通过少量视频素材重建高质量的流体动画；也可以用于科学研究，分析和预测复杂流体系统的行为。此外，该方法还可以应用于虚拟现实和增强现实等领域，提供更逼真的流体交互体验。
📄 摘要（原文）
We study recovering fluid density and velocity from sparse multiview videos. Existing neural dynamic reconstruction methods predominantly rely on optical flows; therefore, they cannot accurately estimate the density and uncover the underlying velocity due to the inherent visual ambiguities of fluid velocity, as fluids are often shapeless and lack stable visual features. The challenge is further pronounced by the turbulent nature of fluid flows, which calls for properly designed fluid velocity representations. To address these challenges, we propose hybrid neural fluid fields (HyFluid), a neural approach to jointly infer fluid density and velocity fields. Specifically, to deal with visual ambiguities of fluid velocity, we introduce a set of physics-based losses that enforce inferring a physically plausible velocity field, which is divergence-free and drives the transport of density. To deal with the turbulent nature of fluid velocity, we design a hybrid neural velocity representation that includes a base neural velocity field that captures most irrotational energy and a vortex particle-based velocity that models residual turbulent velocity. We show that our method enables recovering vortical flow details. Our approach opens up possibilities for various learning and reconstruction applications centered around 3D incompressible flow, including fluid re-simulation and editing, future prediction, and neural dynamic scene composition. Project website: https://kovenyu.com/HyFluid/