Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction

📄 arXiv: 2606.13655 📥 PDF

作者: Jen-Hao Cheng, Yipeng Wang, Hao Zhang, Gengshan Yang, Jenq-Neng Hwang

分类: cs.CV, cs.GR

发布日期: 2026-06-12

💡 一句话要点

提出Flex4DHuman以解决动态人类重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态人类重建 多视角视频 相机姿态 4D高斯点云 深度学习

📋 核心要点

  1. 现有方法在动态人类重建中依赖显式几何先验，限制了其灵活性和适用性。
  2. Flex4DHuman通过相对相机姿态条件生成密集多视角视频，避免了对显式几何的依赖。
  3. 实验结果显示，Flex4DHuman在多个数据集上超越了现有最先进的方法，具有良好的推广性。

📝 摘要（中文）

我们提出了Flex4DHuman，一个多视角视频扩散模型，能够将动态主体的单目或稀疏多视角视频转化为同步的密集多视角视频，仅依赖相对相机姿态条件。与以往依赖骨架、深度图、法线或渲染目标视图几何的以人为中心的方法不同，Flex4DHuman不需要显式的几何先验，而是通过相对相机姿态位置编码来条件生成。生成的视频可以直接用于下游重建管道，创建动态4D高斯点云。基于Wan 2.1 1.3B文本到视频模型，Flex4DHuman保留了主干架构，并通过五轴位置编码来编码相机和视图信息，扩展了时空RoPE，结合视图索引和连续的SE(3)相对相机几何。我们的实验表明，Flex4DHuman在DNA-Rendering和ActorsHQ上超越了先前的最先进方法，同时该方法在混合人类-动物训练后也能推广到动物类别。

🔬 方法详解

问题定义：本论文旨在解决动态人类重建中的几何先验依赖问题。现有方法通常需要骨架、深度图等显式几何信息，限制了其灵活性和适用性。

核心思路：Flex4DHuman的核心思路是通过相对相机姿态位置编码来生成密集多视角视频，避免了对显式几何的依赖。这种设计使得模型能够更灵活地处理不同视角的视频输入。

技术框架：整体架构包括三个主要阶段：姿态跟随、灵活的参考到目标视图生成和时间展开。模型基于Wan 2.1 1.3B文本到视频模型，使用五轴位置编码来处理相机和视图信息。

关键创新：Flex4DHuman的最重要创新在于其不依赖显式几何先验，而是通过相对相机姿态进行条件生成。这一方法使得模型在处理动态场景时更加灵活和高效。

关键设计：模型采用了三阶段的课程训练，使用干净的历史目标视图标记进行时间展开，并在测试时添加了多视角标题以实现文本控制。

📊 实验亮点

在DNA-Rendering和ActorsHQ数据集上的实验结果显示，Flex4DHuman在动态人类重建任务中超越了现有的最先进方法，具体性能提升幅度未知，展现了其在处理复杂动态场景中的优越性。

🎯 应用场景

Flex4DHuman的研究成果在多个领域具有广泛的应用潜力，包括模拟、游戏、增强现实/虚拟现实（AR/VR）以及视频重拍等。其灵活的4D内容创建能力将推动这些领域的发展，尤其是在动态场景的生成和重建方面。

📄 摘要（原文）

We present Flex4DHuman, a multi-view video diffusion model that transforms a monocular or sparse multi-view video of a dynamic subject into synchronized dense multi-view videos using only relative camera-pose conditioning. Unlike prior human-centric methods that rely on skeletons, depth maps, normals, or rendered target-view geometry, Flex4DHuman requires no explicit geometry priors and instead conditions generation through relative camera-pose positional encoding. The generated videos can be directly ingested by downstream reconstruction pipelines to create dynamic 4D Gaussian splats. Built on the Wan 2.1 1.3B text-to-video model, Flex4DHuman preserves the backbone architecture and encodes camera and view information through a five-axis positional encoding that extends spatio-temporal RoPE with view indices and continuous SE(3) relative camera geometry. A three-stage curriculum progressively trains the model for pose following, flexible reference-to-target view generation, and temporal rollout. To support temporal rollout, we train with clean historical target-view tokens. We also add multi-view captions to enable test-time text control. Combined with an off-the-shelf 4D Gaussian Splatting stage, our framework lifts monocular static-camera videos into dynamic 4D Gaussian splats. Experiments on DNA-Rendering and ActorsHQ show that Flex4DHuman surpasses prior state-of-the-art methods, while the same formulation generalizes to animal categories after mixed human-animal training. These capabilities make Flex4DHuman a practical step toward scalable 4D content creation from casual monocular videos for simulation, gaming, AR/VR, and video re-shooting.