ModaFlow: Modality-Aware Flow Matching for High-Fidelity Virtual Try-On

📄 arXiv: 2606.27773v1 📥 PDF

作者: Xiangyu Sai, Meysam Madadi, Sergio Escalera, Yong Xu

分类: cs.CV

发布日期: 2026-06-26

备注: Preprint

💡 一句话要点

提出ModaFlow以解决高保真虚拟试穿中的多模态匹配问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 虚拟试穿 多模态流匹配 图像处理 增强现实 深度学习

📋 核心要点

  1. 现有虚拟试穿方法在保持服装细节和适应不同人体形状方面存在不足，尤其是在大幅度变形时。
  2. ModaFlow通过多模态流匹配框架，结合视觉和文本嵌入，实现精确的服装与描述对齐。
  3. 实验结果显示，ModaFlow在配对和非配对基准上分别将FID降低了约30%和20%，表现出色。

📝 摘要（中文）

基于图像的虚拟试穿在电子商务和增强现实中逐渐成为一个重要任务，但现有方法在保持细致的服装语义和适应多样化的人体几何形状方面面临挑战。本文提出了ModaFlow，一个基于多模态流匹配的框架，能够实现文本描述与服装外观之间的精确对齐。与以往方法统一处理多模态条件不同，ModaFlow引入了多模态引导机制，通过预训练的图像提示适配器提取的视觉服装嵌入提供结构性引导，同时通过无分类器引导（CFG）控制生成的文本嵌入。为进一步提高流场的准确性，提出了余弦相似性和感知流辨别的正则化损失，改善速度场的方向一致性和感知真实感。实验表明，ModaFlow在定性和定量评估中均取得了最先进的结果，FID在配对和非配对基准上分别降低了约30%和20%。

🔬 方法详解

问题定义：本文旨在解决现有虚拟试穿方法在服装语义保持和人体几何适应性方面的不足，尤其是在大幅度变形情况下的挑战。

核心思路：ModaFlow的核心思路是引入多模态流匹配机制，通过视觉和文本嵌入的结合，实现更高精度的服装与描述对齐。设计上，视觉嵌入提供结构性引导，而文本嵌入则通过无分类器引导进行控制。

技术框架：整体架构包括多个模块：首先，通过预训练的图像提示适配器提取视觉服装嵌入；其次，生成文本嵌入并通过无分类器引导进行调整；最后，利用正则化损失函数优化流场的方向一致性和真实感。

关键创新：最重要的创新在于引入了多模态引导机制和两种正则化损失，显著提升了流场的准确性和感知质量，这与现有方法的统一处理方式形成了鲜明对比。

关键设计：关键设计包括使用余弦相似性和感知流辨别作为正则化损失，确保速度场的方向一致性；同时，采用随机采样的掩码操作，模拟多样的遮挡场景，增强模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ModaFlow在实验中表现出色，FID在配对基准上降低了约30%，在非配对基准上降低了约20%，显著优于现有方法，展示了其在高保真虚拟试穿中的有效性和创新性。

🎯 应用场景

该研究在电子商务和增强现实领域具有广泛的应用潜力，能够为用户提供更真实的虚拟试穿体验，帮助消费者在购买决策中做出更明智的选择。此外，ModaFlow的技术框架也可扩展至其他多模态任务，如图像生成和内容创作等领域。

📄 摘要（原文）

Image-based virtual try-on has emerged as a compelling task in e-commerce and augmented reality, yet existing methods struggle to simultaneously preserve fine garment semantics and adapt to diverse person body geometries under large clothing-body deformations. We present ModaFlow, a modality-aware flow-matching based framework for high-fidelity virtual try-on that achieves precise alignment between textual descriptions and garment appearance. Unlike prior methods that treat multimodal conditions uniformly, ModaFlow introduces a modality-aware guidance scheme: visual garment embeddings extracted by a pretrained image prompt adapter provide deterministic, persistent structural guidance, while textual embeddings generated from garment descriptions are controlled via classifier-free guidance (CFG) with adaptive scaling and zero-initialized velocity. To further enhance flow field accuracy, we propose two regularization losses, cosine similarity and perceptual flow discrimination, that jointly improve directional consistency and perceptual realism of the velocity field. Additionally, a mask manipulation strategy stochastically samples among box, transparent, and relaxed masks during training, simulating diverse occlusion scenarios and enabling robust inference under unpaired settings where only a box mask is available. Experiments show that ModaFlow achieves state-of-the-art results in both qualitative and quantitative evaluations, reducing FID by approximately 30% on paired and 20% on unpaired benchmarks.