Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision
作者: Ruijie Su, Yuanzhi Liang, Xiaohua Xie, Jianhuang Lai
分类: cs.AI
发布日期: 2026-07-28
💡 一句话要点
提出物理基础流体视频生成方法以解决流体动态不一致问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 流体视频生成 物理仿真 光流监督 视频扩散模型 动态学习 视频质量提升 多模态学习
📋 核心要点
- 现有的视频生成模型在处理流体时常常违反物理规律，导致生成内容不真实。
- 论文提出通过构建物理仿真流体数据集和双流光流监督架构来解决这一问题。
- 实验结果表明，该方法在多个指标上显著优于现有模型，提升幅度可达8.75和4.65分。
📝 摘要（中文）
视频扩散模型生成的内容在流体场景中常常违反基本物理规律，例如液体在空中分裂、容器水位不升等。我们认为这是由于大规模视频文本语料缺乏明确的运动监督，导致模型学习流体外观而非动态。为此，我们构建了一个物理仿真流体数据集，结合了1638个MPM模拟的倾倒/晃动视频和2320个经过关键词过滤的真实倾倒视频，并提出了一种基于预训练扩散变换器的视频生成器的双流图像到视频架构。该方法在多个测试集上显著提高了物理常识和视频质量评分。
🔬 方法详解
问题定义：论文旨在解决视频生成模型在流体场景中违反物理规律的问题。现有方法缺乏运动监督，导致生成的流体动态不一致。
核心思路：通过构建一个包含物理仿真和真实视频的数据集，并引入双流光流监督架构，使模型能够学习流体的动态特性，而不仅仅是外观。
技术框架：整体架构包括一个预训练的扩散变换器视频生成器，增强了标准RGB解码器，增加了一个轻量级的光流解码器分支。光流解码器通过显式的端点误差和光滑性损失进行训练，并通过零初始化卷积与RGB流融合。
关键创新：最重要的创新在于引入了双流解码器架构，使得模型能够在保持预训练骨干网络不变的情况下，专注于光流信息的学习。
关键设计：模型只更新两个解码器，而编码器、时间变换器和文本编码器保持冻结状态。损失函数包括端点误差和光滑性损失，以确保光流的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，该方法在VideoPhy-2物理常识和视频质量评分上，相较于冻结的骨干网络，提升幅度分别达到8.75和4.65分。此外，模型在光流读出评估中，端点误差低至0.54像素，表明其内部化了一致的运动先验。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和影视特效制作等，能够为流体动态的真实模拟提供技术支持，提升生成内容的物理一致性和视觉真实感。未来可能在自动化视频编辑和实时流体模拟中发挥重要作用。
📄 摘要（原文）
Video diffusion models generate visually compelling content but routinely violate elementary physics when the subject involves fluids: liquid columns break apart in mid-air, container water levels fail to rise as liquid is poured in, and splashes disperse without regard to momentum or gravity. We attribute this gap to the fact that large-scale video-text corpora contain almost no explicit motion supervision, so models learn to imitate fluid appearance rather than dynamics. We address this with two contributions. First, we build a physics-simulation fluid dataset combining 1,638 MPM-simulated pouring/sloshing videos with 2,320 keyword-filtered real pouring videos mined from stock footage, plus two held-out test sets: a 1,515-video real-video benchmark and an 18-prompt text-to-first-frame generalization benchmark. Second, we introduce a dual-stream image-to-video architecture built on a pretrained diffusion-transformer video generator. It augments the standard RGB decoder with a lightweight Optical-Flow Decoder branch trained with explicit end-point-error and smoothness losses, fused into the RGB stream via zero-initialized convolutions so the pretrained backbone starts undisturbed. Only the two decoders are updated; the encoder, temporal transformer, and text encoder remain frozen. Across two model scales (1.3B and 14B) and two test sets, our method improves VideoPhy-2 Physical-Commonsense and Video-Quality scores over the frozen backbone by up to 8.75 and 4.65 points, outperforms a leading open competitor, and is preferred by human raters in a blind study. A direct optical-flow read-out evaluation further shows an end-point error as low as 0.54 pixels in-distribution, confirming the model has internalized a coherent motion prior rather than merely improving surface appearance.