LociArt: A Unified Paradigm for Free-Style Local Video Stylization

📄 arXiv: 2610.36456v1 📥 PDF

作者: Yuxuan Chen, Feng Xie, Jiagao Hu, Fuhao Li, Zepeng Wang, Fei Wang, Daiguo Zhou

分类: cs.CV, cs.AI, cs.MM

发布日期: 2026-10-27

备注: Project page: https://higherhu.github.io/lociart/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出LociArt以解决自由风格局部视频风格化问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频风格化 局部风格化 生成细化网络 时空一致性 风格感知掩码 艺术编辑 数据集构建

📋 核心要点

  1. 现有的视频风格化方法通常针对整个场景，缺乏对局部区域的精细控制，导致风格化效果不理想。
  2. LociArt通过引入极性风格感知掩码和互补表示-几何条件，实现了对局部区域的精确风格化和时间一致性。
  3. 实验结果显示，GRNStyle在区域风格质量和空间控制上显著优于现有方法，且保持了良好的时间一致性。

📝 摘要（中文）

视频风格化通常会转换整个场景，而局部艺术编辑需要精确的区域风格关联、空间控制和时间一致性。我们提出LociArt，一个统一的自由风格局部视频风格化范式，明确指定风格化位置和应用风格，同时保留非目标内容。GRNStyle基于生成细化网络（GRN），引入极性风格感知掩码，将风格身份嵌入选定区域的等范数方向。互补的表示-几何条件结合编码的掩码特征与原始掩码空间支持，整合时空上下文与几何控制。我们开发了一个自动化管道，结合全局风格化、视频对象移除、抠图和合成，并构建了包含10万个局部风格化对的LociArt-100K数据集。我们进一步建立了LociArt基准，包含80个源视频和84个目标掩码，涵盖168个前景/背景风格化案例，并提出了区域风格质量的风格原型相似性（SPS）评估方案。实验表明，GRNStyle在区域风格质量和空间控制方面优于现有方法，同时保持强大的时间一致性。

🔬 方法详解

问题定义：论文旨在解决现有视频风格化方法对局部区域控制不足的问题，导致风格化效果不理想，缺乏时间一致性。

核心思路：LociArt通过明确指定风格化区域和应用风格，结合生成细化网络（GRN）和极性风格感知掩码，实现对局部区域的精确风格化。

技术框架：整体架构包括全局风格化、视频对象移除、抠图和合成等模块，形成一个自动化的风格化管道，并构建了LociArt-100K数据集用于训练和评估。

关键创新：引入极性风格感知掩码作为核心创新，与现有方法相比，能够更好地嵌入风格身份并实现空间控制。

关键设计：采用互补的表示-几何条件，结合编码的掩码特征与原始掩码空间支持，设计了特定的损失函数以优化风格化效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GRNStyle在区域风格质量上较现有方法提升了显著的性能，具体表现为在风格化质量评估中获得了更高的分数，并在空间控制和时间一致性方面保持了优越性，展示了其在多区域风格化任务中的有效性。

🎯 应用场景

LociArt的研究成果在影视制作、游戏开发和虚拟现实等领域具有广泛的应用潜力。通过提供精确的局部风格化能力，用户可以在创作过程中实现更高的艺术表现力和个性化风格，提升视觉效果和用户体验。

📄 摘要（原文）

Video stylization typically transforms entire scenes, while local artistic editing requires precise region--style association, spatial control, and temporal consistency. We introduce LociArt, a unified paradigm for free-style local video stylization that explicitly specifies where to stylize and what style to apply while preserving non-target content. At its core, GRNStyle builds on Generative Refinement Networks (GRN) and introduces a polar style-aware mask that embeds style identities as equal-norm directions within selected regions. Complementary representation--geometry conditioning combines encoded mask features with raw-mask spatial support, integrating spatiotemporal context with geometric control. To provide paired supervision, we develop an automated pipeline combining global stylization, video object removal, matting, and compositing, and construct the LociArt-100K Dataset with 100K local stylization pairs. We further establish the LociArt Benchmark, comprising 80 source videos and 84 target masks covering 168 foreground/background stylization cases, with a Style Prototype Similarity (SPS) evaluation scheme for regional style quality and complementary measures of non-target preservation and temporal consistency. Experiments show that GRNStyle outperforms existing methods in regional style quality and spatial control while maintaining strong temporal consistency. Qualitative examples further illustrate joint stylization of multiple regions with the same or different learned styles, despite training only on single-region, single-style pairs. Together, these components provide a unified foundation for learning and evaluating controllable local video stylization. Project page: https://higherhu.github.io/lociart/.