Character Mixing for Video Generation

📄 arXiv: 2510.05093v1 📥 PDF

作者: Tingting Liao, Chongjian Ge, Guangyi Liu, Hao Li, Yi Zhou

分类: cs.CV

发布日期: 2025-10-06

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出CCE和CCA框架，实现跨世界观角色融合的视频生成，解决风格退化问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到视频生成 跨角色交互 风格迁移 角色嵌入 数据增强 视频生成 多模态学习

📋 核心要点

  1. 现有文本到视频生成方法难以处理风格迥异的角色互动，容易导致角色身份丢失和风格退化。
  2. 论文提出跨角色嵌入（CCE）和跨角色增强（CCA）框架，分别用于学习角色特征和扩充训练数据。
  3. 实验结果表明，该方法在角色身份保持、交互质量和风格鲁棒性方面均优于现有方法。

📝 摘要（中文）

本文研究文本到视频生成中跨角色交互的问题，主要挑战在于保持每个角色的身份和行为，同时实现连贯的跨上下文交互。由于角色可能从未共存过，且混合风格容易导致风格退化，使得真实角色卡通化或反之。为此，我们提出了一个框架，通过跨角色嵌入（CCE）学习跨多模态来源的身份和行为逻辑，以及跨角色增强（CCA）利用合成共存和混合风格数据丰富训练。这些技术使得先前不共存的角色之间能够自然交互，且不损失风格保真度。在包含10个卡通和真人剧集的基准测试中，实验表明在身份保持、交互质量和风格退化鲁棒性方面有明显改善，从而实现了生成式叙事的新形式。

🔬 方法详解

问题定义：本文旨在解决文本到视频生成中，不同风格角色（例如卡通人物和真人）进行自然交互的问题。现有方法在处理此类问题时，容易出现角色身份丢失，以及风格退化（style delusion）的现象，即原本写实的角色变得卡通化，或者反之。这种现象严重影响了生成视频的真实性和观赏性。

核心思路：论文的核心思路是通过学习跨模态的角色嵌入，以及增强训练数据的方式，来提升模型对不同风格角色的理解和生成能力。具体来说，跨角色嵌入（CCE）旨在学习角色在不同模态下的身份和行为逻辑，而跨角色增强（CCA）则通过合成角色共存的场景和混合风格的数据，来扩充训练集，从而提升模型的泛化能力。

技术框架：整体框架包含两个主要模块：跨角色嵌入（CCE）和跨角色增强（CCA）。CCE模块负责学习角色在文本、图像等不同模态下的特征表示，并将其映射到一个统一的嵌入空间中。CCA模块则负责生成新的训练数据，包括将不同风格的角色放置在同一场景中，以及对现有角色进行风格迁移。生成的数据用于进一步训练视频生成模型。

关键创新：论文的关键创新在于提出了跨角色嵌入（CCE）和跨角色增强（CCA）两种技术。CCE能够学习角色在不同模态下的身份和行为逻辑，从而提升模型对角色的理解能力。CCA则通过合成新的训练数据，来扩充训练集，从而提升模型的泛化能力和鲁棒性。

关键设计：CCE模块可能使用了对比学习或三元组损失等方法，来学习角色在不同模态下的相似性和差异性。CCA模块可能使用了图像合成、风格迁移等技术，来生成新的训练数据。具体的网络结构和参数设置在论文中应该有详细描述，但摘要中未提及。

📊 实验亮点

论文在包含10个卡通和真人剧集的基准测试中进行了实验，结果表明，所提出的方法在身份保持、交互质量和风格退化鲁棒性方面均优于现有方法。具体的性能数据和对比基线需要在论文中查找，摘要中未提供具体的数值提升。

🎯 应用场景

该研究成果可应用于电影制作、游戏开发、广告设计等领域，实现更具创意和个性化的视频内容生成。例如，可以将不同动画片中的角色融合到同一部电影中，或者让虚拟角色与真实演员进行互动，从而创造出全新的视觉体验。此外，该技术还可以用于生成个性化的教育视频和娱乐内容。

📄 摘要（原文）

Imagine Mr. Bean stepping into Tom and Jerry--can we generate videos where characters interact naturally across different worlds? We study inter-character interaction in text-to-video generation, where the key challenge is to preserve each character's identity and behaviors while enabling coherent cross-context interaction. This is difficult because characters may never have coexisted and because mixing styles often causes style delusion, where realistic characters appear cartoonish or vice versa. We introduce a framework that tackles these issues with Cross-Character Embedding (CCE), which learns identity and behavioral logic across multimodal sources, and Cross-Character Augmentation (CCA), which enriches training with synthetic co-existence and mixed-style data. Together, these techniques allow natural interactions between previously uncoexistent characters without losing stylistic fidelity. Experiments on a curated benchmark of cartoons and live-action series with 10 characters show clear improvements in identity preservation, interaction quality, and robustness to style delusion, enabling new forms of generative storytelling.Additional results and videos are available on our project page: https://tingtingliao.github.io/mimix/.