Flex4DHuman: Flexible Multi-view Video Diffusion for 4D Human Reconstruction
作者: Jen-Hao Cheng, Yipeng Wang, Hao Zhang, Gengshan Yang, Jenq-Neng Hwang
分类: cs.CV, cs.GR
发布日期: 2026-06-11
备注: 18 pages, 8 figures. Code, and multi-view caption dataset available
💡 一句话要点
提出Flex4DHuman以解决动态人类重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)
关键词: 动态重建 视频扩散 相机姿态 4D高斯点云 多视角生成 增强现实 虚拟现实
📋 核心要点
- 现有方法在动态人类重建中依赖显式几何先验，限制了其灵活性和应用范围。
- Flex4DHuman通过相对相机姿态条件生成密集多视角视频，避免了对显式几何的依赖，提升了生成的灵活性。
- 实验结果显示，Flex4DHuman在多个基准数据集上超越了现有最先进的方法，展现出良好的通用性。
📝 摘要（中文）
我们提出了Flex4DHuman，这是一种多视角视频扩散模型，能够将动态主体的单目或稀疏多视角视频转化为同步的密集多视角视频，仅依赖相对相机姿态条件。与以往依赖骨架、深度图、法线或渲染目标视图几何的以人为中心的方法不同，Flex4DHuman不需要显式的几何先验，而是通过相对相机姿态位置编码来条件生成。生成的视频可以直接输入下游重建管道，以创建动态4D高斯点云。基于Wan 2.1 1.3B文本到视频模型，Flex4DHuman保留了主干架构，并通过五轴位置编码来编码相机和视图信息，扩展了时空RoPE，结合视图索引和连续的SE(3)相对相机几何。我们的实验表明，Flex4DHuman在DNA-Rendering和ActorsHQ上超越了现有的最先进方法，并且该方法在经过混合人类-动物训练后也能推广到动物类别。
🔬 方法详解
问题定义：本论文旨在解决动态人类重建中的几何先验依赖问题。现有方法通常需要骨架、深度图等显式几何信息，限制了其灵活性和应用场景。
核心思路：Flex4DHuman的核心思路是通过相对相机姿态位置编码来生成密集多视角视频，避免了对显式几何的依赖，从而实现更灵活的动态重建。
技术框架：整体架构基于Wan 2.1 1.3B文本到视频模型，采用五轴位置编码来处理相机和视图信息。模型训练分为三个阶段：姿态跟随、灵活的参考到目标视图生成和时间展开。
关键创新：最重要的技术创新在于引入相对相机姿态位置编码，结合时空RoPE和视图索引，显著提升了生成视频的质量和灵活性。
关键设计：模型使用清晰的历史目标视图标记进行训练，并添加多视角标题以支持测试时的文本控制。
📊 实验亮点
在DNA-Rendering和ActorsHQ数据集上的实验结果表明，Flex4DHuman在生成质量和灵活性上均超越了现有的最先进方法，具体性能提升幅度达到XX%（具体数据未知）。该模型的通用性也在混合人类-动物训练后得到了验证。
🎯 应用场景
Flex4DHuman的研究成果在多个领域具有广泛的应用潜力，包括模拟、游戏、增强现实/虚拟现实（AR/VR）以及视频重拍等。该模型能够将普通的单目静态视频转化为动态的4D内容，极大地丰富了内容创作的可能性。
📄 摘要（原文）
We present Flex4DHuman, a multi-view video diffusion model that transforms a monocular or sparse multi-view video of a dynamic subject into synchronized dense multi-view videos using only relative camera-pose conditioning. Unlike prior human-centric methods that rely on skeletons, depth maps, normals, or rendered target-view geometry, Flex4DHuman requires no explicit geometry priors and instead conditions generation through relative camera-pose positional encoding. The generated videos can be directly ingested by downstream reconstruction pipelines to create dynamic 4D Gaussian splats. Built on the Wan 2.1 1.3B text-to-video model, Flex4DHuman preserves the backbone architecture and encodes camera and view information through a five-axis positional encoding that extends spatio-temporal RoPE with view indices and continuous SE(3) relative camera geometry. A three-stage curriculum progressively trains the model for pose following, flexible reference-to-target view generation, and temporal rollout. To support temporal rollout, we train with clean historical target-view tokens. We also add multi-view captions to enable test-time text control. Combined with an off-the-shelf 4D Gaussian Splatting stage, our framework lifts monocular static-camera videos into dynamic 4D Gaussian splats. Experiments on DNA-Rendering and ActorsHQ show that Flex4DHuman surpasses prior state-of-the-art methods, while the same formulation generalizes to animal categories after mixed human-animal training. These capabilities make Flex4DHuman a practical step toward scalable 4D content creation from casual monocular videos for simulation, gaming, AR/VR, and video re-shooting.